Почему простые модели могут переигрывать модели большей сложности? Когда причинно-следственные связи не совсем понятны, люди часто пытаются отыскать какие-нибудь стереотипы в исторических данных, полагая, что прошлые события способны предсказать будущие. В таком подходе просматривается очевидный изъян: иногда будущее принципиально отличается от прошлого. Но есть еще одна проблема, более тонкого свойства. Накопленные статистические данные содержат не только полезные «сигналы», но и «шум» — случайные корреляции переменных, за которыми нет никаких устойчивых причинно-следственных связей. Выстраивая модель, слишком приближенную к данным за прошлые периоды, мы тем самым «зашиваем» в нее ошибку, ее называют чрезмерной аппроксимацией[72]. В результате модель точно предскажет прошлое, но не откроет ничего существенного о будущем.
И даже если впихнуть в модель еще больше информации и задействовать огромные вычислительные мощности, это вряд ли решит проблему. Напротив, большие данные на слабой теоретической подкладке — это и есть рецепт чрезмерной аппроксимации. Так, IBM недавно обнародовала исследование, которое, опираясь на анализ данных за сто лет, показало, что главный индикатор экономических спадов — это высота женских каблуков[73]. Туфли на плоской подошве, в которых щеголяли юные эмансипе 1920-х годов, во времена Великой депрессии уступили место высоким каблукам; мода 1960-х годов на удобные сандалии в 1970-е годы, когда разразился нефтяной кризис, сменилась модой на высокую платформу; а низкие уродливые каблуки в стиле гранж были вытеснены высоченными тонкими каблуками-стилетами как раз тогда, когда лопнул пузырь доткомов. Корреляция работала-работала, а потом перестала. Как только грянул финансовый кризис 2008 года, женские каблуки взяли курс на снижение. Если производить вычисления среди множества числовых показателей, не имея добротной теории, корреляции обязательно сыщутся, — беда в том, что они могут быть ложными.
В противовес сложным моделям простые правила берут в расчет только критически важные переменные. Отметая второстепенные факторы и малоубедительные призрачные корреляции, эмпирические правила устраняют шумовой фон. Отсутствие этого самого шума позволяет выработать решения, которые хорошо работают в широком диапазоне сценариев, а не в отдельно взятой ситуации. Вспомним правила триажа, позволяющие медикам быстро оценить тяжесть ранений, полученных в бою. Несмотря на простоту, эти принципы диагностики поразительно эффективно прогнозируют исход лечения ошеломляюще разнообразных травм[74]. В очень сложных системах, таких, например, как фондовый рынок или экономика в целом, где причинно-следственные связи малопонятны и к тому же со временем меняют характер, особенно велик риск чрезмерной аппроксимации. Статистики установили, что при прогнозировании экономических трендов сложные модели систематически проигрывают простым, причем точность прогнозов первых со временем нисколько не повысилась[75]. Когда моделируешь сложные системы, изощренность модели не всегда ведет к ее эффективности[76].
Простые правила не только исключают чрезмерную аппроксимацию данных, но также вбирают в себя взаимосвязанные характеристики самого контекста. Кэти с Крисом Бингэмом из Университета Северной Каролины изучили предпринимательские решения о расширении бизнеса за рубежом[77]. Один успешный американский предприниматель руководствовался простым правилом: «Выходи на рынки англоговорящих стран». Пускай и нехитрое, это правило фактически заместило собой целый ряд переменных, важных для успешного роста. Этот предприниматель вырос в Англии и еще в детстве познакомился с культурой государств, прежде входивших в Британское Содружество, объединившее в свое время большинство англоговорящих стран мира. В этих странах широко распространен интернет, у них высокие показатели экспорта и ВВП на душу населения, и потому они выглядели самым подходящим рынком для технологических продуктов данного предпринимателя. В сущности, это простое правило касалось не просто языка, а чего-то намного большего. Словно лакмусовая бумажка, оно позволило без глубоких изысканий сразу выделить экономически привлекательные рынки.
72
Чрезмерная аппроксимация — краткое название модели с высокой дисперсией, где белый (случайный) шум ошибочно трактуется как значимый сигнал. Высокая дисперсия создает риск, когда прогноз, полученный на основе малочисленной выборки, обобщают и распространяют на всю совокупность (например, когда пытаются предугадать итоги выборов по данным экзитполов), когда причинно-следственные связи между переменными малопонятны или когда характер взаимосвязей между причинами и следствиями с течением времени неожиданным образом меняется. Последнее часто наблюдается в сложных социальных системах. См.: Geman Stuart, Bienenstock Elie, Doursat Rene. Neural Networks and the Bias/Variance Dilemma // Neural Computation. 1992. Vol. 4, no. 1. P. 1–58.
73
IBM Social Media Analysis Points to Lower Heels, Bucking Economic Trend: press release. November 17, 2011. URL: http://www-03.ibm.com/press/us/en/pressrelease/35985.wss.
74
Field Triage Scores (FTS) in Battlefield Casualties: Validation of a Novel Triage Technique in a Combat Environment / Brian J. Eastridge et al. // American Journal of Surgery. 2010. Vol. 200, no. 6. P. 724–727. Практика ускоренной сортировки раненых (триажа) в пунктах первой помощи доказала свою работоспособность и в цивильных условиях; см.: Validation of the Emergency Severity Index (ESI) in Self-Referred Patients in a European Emergency Department / Jolande Elshove-Bolk et al. // Emergency Medicine Journal. 2007. Vol. 24, no. 3. P. 170–174.
75
Профессор Скотт Армстронг из Уортонской школы бизнеса сделал обзор тридцати трех исследований, сопоставив достоинства простых и сложных статистических моделей, при помощи которых прогнозируются результаты работы бизнеса и экономики. В двадцати одном исследовании он не обнаружил различий в точности прогнозов. В пяти исследованиях сложные модели проявили себя лучше, чем простые, а в семи исследованиях простые модели одержали верх над сложными. См.: Armstrong J. Scott. Forecasting by Extrapolation: Conclusions from 25 Years of Research // Interfaces.1984. Vol. 14. P. 52–66. Спирос Макридакис более двадцати лет устраивал серии «соревнований» для статистических моделей и систематически обнаруживал, что сложные модели уступают простым подходам. История этих соревнований обобщена в: Makridakis Spyros, Hibon Michele. The M3-Competition: Results, Conclusions, and Implications // International Journal of Forecasting. 2000. Vol. 16, no. 4. P. 451–476.
76
С точки зрения статистики модель, тесно приближенную к базовой функции, которая генерирует наблюдаемые данные, называют моделью с низким смещением. Сложные модели превосходят простые в плане возможностей минимизировать смещение. Но у сложных моделей вероятность высокой дисперсии выше, поскольку они распознают шум как сигнал. Когда моделируются сложные системы с малопонятной базовой причинностью, всякий раз приходится делать выбор между смещением и дисперсией. См.: Neural Networks and the Bias/Variance Dilemma / Geman et al.
77
Bingham Christopher B., Eisenhardt Kathleen M. Rational Heuristics: The ‘Simple Rules’ That Strategists Learn from Process Experience // Strategic Management Journal. 2011. Vol. 32, no. 13. P. 1437–1464.