Ученые проверили стратегическое мышление ChatGPT в игре «угадай число»

Заведующий Научно-учебной лабораторией исследований спорта факультета экономических наук Дмитрий Дагаев совместно коллегами из пермского кампуса НИУ ВШЭ Софией Паклиной и Петром Паршаковым, а также сотрудницей Университета Лозанны Юлией Алексеенко провели эксперимент с ИИ-моделями, включая ChatGPT-4o и Claude-Sonnet-4, чтобы выяснить их поведение в игре «угадай число». Исследование опубликовано в Journal of Economic Behavior & Organization.Чат-ботам предложили угадать число от нуля до ста, стремясь угадать половину или 2/3 среднего от всех ответов. В эксперименте использовались результаты 16 классических исследований с людьми, чтобы оценить адаптацию ИИ к различным типам оппонентов.

ИИ показал способность адаптироваться к социальным, профессиональным и когнитивным характеристикам оппонентов.

Например, в игре с участниками научных конференций по теории игр модели выбирали числа ближе к нулю, тогда как с первокурсниками они выбирали большие числа. Однако модели всё равно проигрывали, из-за того, что завышали потенциал оппонентов, выстраивая слишком сложные комбинации.

Результаты показали, что языковые модели демонстрируют стратегическое мышление, но не способны выбрать доминирующую стратегию в игре с двумя участниками.

«Мы сейчас находимся в точке, когда во многих операциях ИИ-модели начинают заменять людей, и это позволяет повышать экономическую эффективность бизнес-процессов. Однако в задачах, которые связаны с принятием решений, часто необходимо быть уверенными в том, что модель искусственного интеллекта ведёт себя похожим на человека образом. Поэтому появляется всё больше контекстов, в которых поведение моделей сравнивается с человеческим поведением. Эта область исследований в ближайшее время будет активно развиваться», — рассказал Дагаев.