Научный семинар IDlab

Тимофей Швая представил исследование «Crowd Size and Prediction Precision: an Analysis of Metaculus Data». Соавторы исследования: Петр Паршаков, Юлия Найденова, Дэннис Коутс

В данной работе исследуется оптимальный размер толпы для составления точных прогнозов в различных областях на основе данных онлайн-платформы для прогнозирования Metaculus. Краудсорсинг - практика сбора информации от широкой аудитории через Интернет - позволяет использовать "мудрость толпы" для составления более точных прогнозов, чем это мог бы сделать любой отдельный человек. Несмотря на его признанный потенциал, не утихают споры об идеально подходящих характеристиках и размере толпы для достижения максимальной точности прогнозирования. Предыдущие исследования дали неоднозначные результаты: одни выступают за большие группы людей, другие считают, что небольшие, знающие команды могут дать лучшие результаты. На основе набора данных из 1687 наблюдений Metaculus в данном исследовании анализируется точность предсказаний, оцениваемая по показателю Brier, для разных размеров толпы и тем, включающих политику, технологии и науку. Анализ выявил U-образную зависимость между количеством прогнозов и точностью предсказания, что позволяет предположить, что оптимальное количество прогнозов составляет около 1200. Полученные данные показывают, что, хотя большие толпы могут улучшить прогнозы, существует порог, за которым дополнительные прогнозы не улучшают, а могут даже снижать точность. Данная работа вносит вклад в понимание динамики прогнозирования на основе толпы тем, что позволяет понять, как можно эффективно использовать коллективный разум в целях прогнозирования.