• В округе Броуард штата Флорида детей в программы для одаренных записывают обычно по рекомендациям родителей и учителей[111]. При этом 56 процентов школьников в программах для одаренных – белые, хотя в Броуарде они составляют меньшинство. В первом десятилетии XXI века было принято решение отказаться от субъективного метода и попытаться применить максимально системный и объективный подход. Все дети прошли невербальный тест IQ. Экономисты Дэвид Кард и Лора Джулиано документально подтверждают поразительные результаты этой новации: среди одаренных оказалось на 80 процентов больше школьников-афроамериканцев и на 130 процентов больше испаноязычных.
• Профессора права Тед Ругер и Полин Ким совместно с политологами Эндрю Мартином и Кевином Куинном провели тест, чтобы проверить, может ли простая модель с шестью переменными предсказать решения Верховного суда США на 2002 год лучше, чем группа из восьмидесяти трех известных экспертов[112]. Из привлеченных к эксперименту юристов 38 человек работали помощниками судей Верховного суда, 33 были профессорами права, а шестеро в настоящее время или в прошлом возглавляли юридические факультеты. В среднем представителям этой группы удалось предсказать чуть меньше 60 процентов судебных постановлений. Алгоритм же дал 75 процентов правильных результатов.
Является ли этот список репрезентативным и честным, или мы намеренно, а может, даже неосознанно выбрали случаи, когда человеческое суждение проигрывало алгоритму, оставив без внимания примеры превосходства человека? Впечатляющий объем исследований показывает, что статистика все же на нашей стороне.
Группа под руководством психолога Уильяма Гроува просмотрела литературу за пятьдесят лет в поисках опубликованных рецензируемых примеров прямых сравнений между клиническими и статистическими прогнозами (то есть сравнений оценок квалифицированных экспертов и прогнозов на основе компьютерного анализа данных) в сфере психологии и медицины[113]. Они нашли 136 таких исследований, которые охватывали всё – от тестирования IQ до диагностики сердечных заболеваний. В 48 процентах этих работ значимой разницы обнаружено не было – иными словами, эксперты в среднем угадывали правильный результат не лучше компьютера.
Гораздо более сильный удар по идее превосходства человека в оценочном суждении нанес тот факт, что в 46 процентах рассмотренных исследований эксперты действовали значительно хуже, чем алгоритм. Это означает, что люди продемонстрировали явное превосходство только в 6 процентах случаев. Авторы пришли к заключению, что почти во всех исследованиях, где люди оказывались лучше, «у специалистов было больше данных, чем у программы»[114]. Как заметил легендарный психолог Пол Мил, который еще в начале 1950-х годов описывал посредственные результаты суждений людей-экспертов:
В социальных науках не ведутся споры о том, что именно показывает настолько масштабный корпус появившихся недавно качественно разнообразных исследований, ведущихся в едином направлении, одним из которых является это [сравнение статистического и клинического прогнозов]. Когда у вас больше ста работ, прогнозирующих всё – от результатов футбольных матчей до диагностики заболеваний печени, – и при этом вы с трудом можете наскрести полдюжины исследований, где есть хотя бы слабый уклон в пользу клинического прогноза, самое время сделать некий практический вывод[115].
Мы считаем, что этот практический вывод таков: нам нужно меньше полагаться на суждения и прогнозы экспертов.
Все больше и больше американских компаний приходят к тому же заключению. Работая с Бюро переписи населения США, Эрик и Кристина Макэлерен (сейчас профессор Университета Торонто) при изучении репрезентативной выборки из 18 тысяч заводов установили, что переход к принятию решений на основе данных значительно ускорился. Катализатором этого стало активное применение информационных технологий и значительное улучшение работы компаний, принявших такой подход[116].
Несмотря на убедительные примеры, нам стоит перестать петь дифирамбы алгоритмам и сделать несколько важных оговорок. Прежде всего, чтобы сравнивать человеческое суждение с его математической моделью, нужно иметь такую модель. Согласно парадоксу Полани, это не всегда возможно. Модели нужно тестировать и оттачивать на многочисленных сходных примерах, поскольку каждая из них описывает только какое-то подмножество решений, которые могут принимать люди. Впрочем, общая идея ясна и подтверждается раз за разом: если грамотно создать и испытать модель, то в целом она будет работать так же хорошо, как эксперты, принимающие аналогичные решения (или даже лучше). Тем не менее мы продолжаем опираться на человеческие суждения там, где лучше справляются машины.
111
David Card and Laura Giuliano,
112
Theodore W. Ruger et al., “The Supreme Court Forecasting Project: Legal and Political Science Approaches to Predicting Supreme Court Decisionmaking,”
113
William M. Grove et al., “Clinical versus Mechanical Prediction: A Meta-analysis,”
114
William M. Grove et al., “Clinical versus Mechanical Prediction: A Meta-analysis,”
115
Paul E. Meehl, “Causes and Effects of My Disturbing Little Book,”
116
Erik Brynjolfsson and Kristina McElheran, “Data in Action: Data-Driven Decision Making in US Manufacturing,” 2016, https://papers.ssrn.com/sol3/papers2.cfm?abstract_id=2722502. Более ранняя работа, где использовалась меньшая выборка, дала сходные результаты: Erik Brynjolfsson, Lorin M. Hitt, and Heekyung Hellen Kim, “Strength in Numbers: How Does Data-Driven Decision making Affect Firm Performance?” 2011, https://papers.ssrn.com/sol3/papers2.cfm?abstract_id=1819486.