Во многих из этих упражнений эмпирические оценки проводятся одной из небольшого числа консалтинговых фирм, для которых такое моделирование является основным бизнесом, и которые знают ответы, которые хотели бы услышать те, кто спонсирует исследования. Их коммерческий успех зависит от предоставления того, что хотят их клиенты. Ученые, которые добиваются внимания общественности и официального финансирования исследований, слишком легко вовлекаются в этот процесс.
Злоупотребление моделями
Описанные выше упражнения имеют общие недостатки. Все они демонстрируют по крайней мере некоторые из следующих недостатков, а большинство иллюстрируют все из них.
Во-первых, при моделировании применяется общий шаблон к разрозненным ситуациям. Существуют большие различия в характере и масштабах транспортных проектов, в деятельности организаций, называющих себя "банками", а также в условиях занятости и социального обеспечения в странах-членах Европейского Союза. В каждом из этих случаев вера в то, что общий подход позволяет достичь объективности или сопоставимости, была опровергнута событиями.
Во-вторых, упражнения по моделированию основаны на заполнении пробелов в знаниях путем изобретения чисел, часто в огромных количествах. Некоторые из этих придуманных чисел будут предписаны - как в WebTAG - в то время как другие оставлены на усмотрение моделистов, которые, в результате сложности моделей, могут быть единственными людьми, понимающими влияние на ответы сделанных предположений. Действительно, поверхностным преимуществом общего шаблона является то, что большую часть моделирования можно оставить младшим аналитикам, в результате чего связь между допущениями и результатами может быть вообще никому не понятна.
В-третьих, эти упражнения обязательно предполагают, почти всегда без обоснования, стационарность лежащих в их основе процессов. Возможно, были основания предполагать, что наука, лежащая в основе рыболовства, хорошо изучена, хотя это оказалось не так. Но не было даже априорных оснований полагать, что исторический опыт дефолтов по ипотечным кредитам будет применяться в будущем, что уровень исторической доходности инвестиционных продуктов является хорошим ориентиром для будущей доходности, или что модели, которые были подогнаны под данные из Испании, будут описывать миграцию из Польши. И ничего из этого не подтвердилось на практике.
В-четвертых, в отсутствие стационарности эти моделирования не имеют средств учета неопределенности, и нет основы для построения распределений вероятности, доверительных интервалов или использования инструментов статистического вывода. Мнения разных людей о значениях параметра или различные оценки значения этого параметра одним и тем же консультантом не являются ни частотным, ни вероятностным распределением. При отсутствии надежной основы для описания таких оценок неопределенности не существует механизма для оценки вариантов, связанных с проектом. Например, многие транспортные проекты фактически исключают другие проекты, которые могут достичь аналогичных целей. Или же они могут позволить реализовать другие проекты, которые в противном случае не были бы жизнеспособными. Такие варианты, которые могут иметь положительное или отрицательное значение, часто имеют решающее значение для оценки проекта. Важные решения всегда должны приниматься в контексте более широкого повествования.
В-пятых, из-за стоимости и сложности моделей их применение часто препятствует проведению значимых общественных консультаций и обсуждений. Противники HS2, предлагаемого проекта высокоскоростного железнодорожного сообщения между Лондоном и Бирмингемом, сочли необходимым заказать собственную дорогостоящую оценку того же проекта, которая мало чем отличалась по структуре, но привела к диаметрально противоположному выводу по сравнению с официальным мнением.
Все эти фиктивные модели, такие же хрупкие, как конструкция из бальзы в аэродинамической трубе, имеют общий недостаток. Они начинаются с рассмотрения того, как бы вы принимали решение, если бы обладали полным и совершенным знанием о мире, сейчас и в будущем. Но известно очень мало соответствующих данных. Решение? Выдумать их все.
Моделирование в НАСА и ВОЗ
В этой книге мы часто ссылались на впечатляющие достижения ученых НАСА в моделировании Солнечной системы и прогнозировании траекторий космических аппаратов. Совсем другое дело - моделирование собственных систем НАСА. В 1986 году космический челнок "Челленджер" взорвался при запуске, в результате чего погибли все семь астронавтов, находившихся на борту. Это была первая из двух фатальных аварий в программе Space Shuttle; вторая произошла семнадцать лет спустя, когда Columbia распалась при входе в атмосферу Земли, и снова погибли все семь членов экипажа. Блестящий физик Ричард Фейнман, лауреат Нобелевской премии, был назначен на расследование, которое последовало за катастрофой "Челленджера". Фейнман настоял на том, чтобы к отчету была приложена его записка с выражением несогласия со скупыми выводами следствия. Он отметил, что существовал широкий диапазон оценок вероятности смертельной аварии в результате запуска - от 1 к 100 от рабочих инженеров до 1 к 100 000 от руководства НАСА. Фейнман спросил: "В чем причина фантастической веры руководства в механизмы?", высмеяв понятие о вероятности 1 к 100 000 и заметив, что руководство НАСА заявляет о знании и понимании, которыми оно не может обладать. Для успешной технологии реальность должна превалировать над связями с общественностью, ведь природу нельзя обмануть", - заключил Фейнман.
Методы, которые так хорошо работали при анализе Солнечной системы - которые требовали всестороннего знания основной системы, стационарности этой системы и уверенности в том, что система не пострадает от действий НАСА или его агентов - полностью провалились в условиях радикальной неопределенности, неизбежной на границах ракетных технологий. Как позже обнаружил Обама в другом контексте во время встречи в Овальном кабинете, выражение вероятностей в НАСА скорее маскировало неопределенность, чем устраняло ее. Фейнмановское осуждение бюрократии НАСА представляет собой непревзойденный рассказ о злоупотреблении псевдонаукой для рационализации административных решений, принимаемых в условиях радикальной неопределенности. Такое злоупотребление моделями было характерно для анализа космических аппаратов в Хьюстоне, рыбных запасов в Ньюфаундленде, трамваев в Эдинбурге и миграции в Европе. К сожалению, это злоупотребление широко распространено и продолжается.
Томас Девенпорт и Брук Мэнвилл создали серию тематических исследований о том, как принимались правильные решения в крупных организациях. Они начинают с анализа того, как в 2009 году NASA, наказанное катастрофой Challenger, сначала отложило запуск космического шаттла STS-119, а затем успешно осуществило его. Они подчеркивают особенности пересмотренных процедур агентства:
приверженность отслеживанию мелких неудач, способность распознавать и понимать сложные проблемы, реальное внимание к работникам на передовой, способность учиться на ошибках и восстанавливаться после них, а также способность импровизировать эффективные ответы на кризисы ... всеобъемлющей культурой был открытый обмен мнениями, уважение к различным мнениям и принятие права на инакомыслие. Сегодня мы восхищаемся НАСА не только за его успехи, но и за его способность преодолевать последствия ужасных трагедий Challenger и Columbia.
НАСА научилось задавать вопрос "Что здесь происходит?" как в своей организации, так и в Солнечной системе, и отказываться от притворства знания в пользу решений, которые были бы надежными и устойчивыми к непредвиденным событиям. Так же должны поступать и все мы.
Считается, что первый случай заражения человека ВИЧ произошел в 1920-х годах. Но только в 1981 году, когда было зарегистрировано необычное скопление PCP (редкая легочная инфекция) у пяти мужчин-геев в Сан-Франциско, было выявлено явление, которое мы знаем сегодня. Всемирная организация здравоохранения, которой было поручено создать модель, позволяющую директивным органам определить пути распространения заболевания и необходимый уровень вмешательства, разработала сложную модель на основе последних демографических данных по каждой стране. Гораздо более простая модель была разработана математиками Робертом Мэем и Роем Андерсоном, которые предложили более пессимистичные прогнозы распространения ВИЧ. К сожалению, их прогнозы оказались гораздо ближе к реальным результатам. Заражение СПИДом ускорилось по всему миру, причинив особый вред южной Африке: в 1990 году там насчитывалось 120 000 человек, живущих со СПИДом, а к 2000 году их число выросло до 3,4 миллиона. Число новых случаев ВИЧ-инфекции выросло в девять раз. Мир, похоже, был гораздо менее стабильным местом, чем предполагала модель ВОЗ.