Математики проверили ИИ на настоящих научных задачах: модели пасуют там, где нужна интуиция

Математики провели эксперимент для оценки способностей современных ИИ-моделей решать «настоящие научные задачи», а не только учебные упражнения. В отличие от предыдущих тестов с известными задачами, в этом исследовании использовались оригинальные вопросы из текущих научных исследований, которые ранее нигде не публиковались.

Каждый математик подготовил свою задачу и заранее решил её, чтобы убедиться в её выполнимости. Всего было десять заданий из разных областей, включая теорию графов, геометрию и другие направления. Ответы были зашифрованы.

Эти задачи были протестированы на нескольких ведущих ИИ-системах, которым предоставлялась только одна попытка без подсказок и дополнительных объяснений. Целью было проверить способность ИИ находить решения, когда условия понятны, но ответ неизвестен.

Результаты показали, что модели «отлично справляются с типовыми задачами и анализом данных», но «испытывают сложности, когда требуется творческий подход и математическая интуиция».

Исследователи планируют опубликовать ответы и разработать новый набор заданий.

ИИ умный, но не настолько: модели не справились с настоящими научными задачами