Итоги турнира «Предвыборная гонка»: стратегии людей эффективнее языковых моделей
Сотрудники Международной лаборатории экономики нематериальных активов (МЛЭНА) и Научно-учебной лаборатории исследований спорта совместно с математиком и популяризатором науки Алексеем Савватеевым (Москва, ЦЭМИ РАН; Долгопрудный, МФТИ; Майкоп, АГУ; Иннополис, УИ) подвели итоги масштабного конкурса, проходившего по игре «Предвыборная гонка». В рамках данного эксперимента по теории игр участники предлагали свои стратегии игры, которые сравнивали как со стратегиями других участников, так и с решениями искусственного интеллекта. Конкурс проведен в рамках гранта РНФ 25-18-00539 "Сравнительный анализ поведения агентов на основе искусственного интеллекта и реальных индивидов в процессе принятия экономических решений".
Участникам турнира требовалось представить стратегию распределения 100 предвыборных поездок между 9 штатами, при условии, что в каждом штате побеждает кандидат, съездивший туда больше раз, а президентом становится тот, кто выиграл больше штатов. Задачей для игроков было распределить поездки так, чтобы выиграть как можно в больших штатах.
Организаторы турнира намеренно замаскировали под предвыборную политическую конкуренцию классическую игру «Полковник Блотто», чтобы участники не могли найти готовые оптимальные стратегии в сети. Главной целью турнира было определить наилучшее решение среди участников конкурса, проанализировать адаптивность стратегии людей к меняющемуся выбору соперников, а также выяснить, под силу ли искусственному интеллекту переиграть человека в стратегической игре.
Турнир проводился в трех форматах: в первом участвовали только стратегии людей, во втором к ним добавились решения от популярных языковых моделей, в третьем число человеческих и машинных стратегий было уравнено. Игры проходили по круговой системе — каждая стратегия против каждой. В каждом отдельном турнире было выделено по 10 победителей, еще 10 призовых мест разыгрывалось по сумме трёх турниров с участием людей.
Приём заявок был открыт для всех желающих, достигших 18-летнего возраста: каждый участник мог заявить по одной стратегии в первые три турнира. Призовой фонд составила научно-популярная литература с автографами авторов для 40 победителей, а обладатель первого места в общем зачете получил дополнительный приз — возможность пообедать с любым из организаторов конкурса. Из 215 присланных людьми стратегий только 205 полностью соответствовали правилам игры. Часть заявок были отклонены из-за неверной интерпретации условий турнира.
Эксперимент показал, что люди оказались сильнее машин. Хотя анализ всего массива данных еще продолжается, ключевой результат уже виден — в среднем люди справились с задачей лучше моделей. Несмотря на все возможности ИИ, верхние строчки турнирной таблицы заняли именно люди. Человеческая интуиция в этой сложной математической дуэли оказалась эффективнее алгоритмов. При этом люди в среднем не очень сильно меняли свои стратегии между турнирами, что говорит о том, что правила самой игры оказались важнее для принятия решений, чем конкретное множество соперников.
Изучение влияния алгоритмов искусственного интеллекта на принятие решений в разных отраслях человеческой деятельности уже несколько лет является важной задачей для экономистов. Накопление знания о том, как люди и искусственный интеллект ведут себя при столкновении друг с другом происходит путем экспериментов. В этом контексте игра полковника Блотто интересна тем, что в ней нет равновесия Нэша в чистых стратегиях. Следовательно, для победы становится важным понять, кто твой соперник, и как его обыграть. Мы видим, что люди (пока что) справляются с этой задачей лучше.
Для нас было важно не просто сравнить человека и языковые модели в абстрактной задаче, а поместить их в ситуацию стратегической неопределённости, где нет очевидного равновесия. Турнир показал, что человеческая интуиция и способность учитывать поведение соперника по-прежнему дают преимущество. В дальнейшем на основе таких экспериментов мы планируем построить бенчмарк для языковых моделей, характеризующих их близость к поведению людей.
