Например, Филип Тетлок в своей выдающейся, новаторской книге "Экспертное политическое суждение" описывает два эксперимента, которые показывают, что разработка сценариев не может быть эффективной аналитической техникой. В экспериментах сравнивались суждения по политическим вопросам до и после того, как испытуемые подготовили сценарии, пытаясь лучше разобраться в проблемах.3 Эксперименты показали, что прогнозы как экспертов, так и неэкспертов были более точными до создания сценариев; другими словами, создание сценариев фактически снизило точность их прогнозов. Несколько опытных аналитиков отдельно привели этот результат в качестве доказательства того, что разработка сценариев не может быть полезным методом анализа разведданных.4
Однако выводы Тетлока не следует обобщать и применять к анализу разведданных, поскольку в тех экспериментах сценарии проверялись как инструмент прогнозирования. Разведывательное сообщество не использует сценарии для прогнозирования. Цель разработки сценариев - описать несколько исходов или вариантов развития событий, которые должны быть рассмотрены лицом, принимающим решение, поскольку разведка не в состоянии предсказать один исход с разумной уверенностью. Еще одна важная цель разработки сценариев - определить индикаторы и вехи для каждого потенциального сценария. Затем эти показатели и вехи можно отслеживать, чтобы получить раннее предупреждение о том, в каком направлении развиваются события. В экспериментах Тетлока сценарии таким образом не использовались.
13.2 УСТАНОВЛЕНИЕ ДОСТОВЕРНОСТИ
Мы считаем, что самый простой способ оценить ценность методов структурированного анализа - это посмотреть, для какой цели используется тот или иной метод. Как только это будет установлено, следующий шаг - определить, действительно ли она достигает этой цели или существует более эффективный способ достижения той же цели. В этой книге восемь глав, посвященных техникам. Во введении к каждой главе обсуждается обоснование использования того или иного типа техник в этой главе. Как использование данного типа техники помогает аналитику лучше справляться с работой? Для каждой отдельной техники в книге описывается не только то, как использовать эту конкретную технику, но и то, когда ее использовать, а также то, какую пользу приносит ее применение. Другими словами, каждая техника структурированного анализа имеет так называемую лицевую валидность, поскольку есть основания ожидать, что она поможет смягчить или избежать проблем, которые иногда возникают при проведении разведывательного анализа.
В следующих параграфах приводятся примеры валидности нескольких структурированных техник, то есть объяснения того, как и почему эти аналитические приемы полезны. Большое количество исследований в области человеческого познания, проведенных за последние шестьдесят лет, показывает пределы рабочей памяти и говорит о том, что со сложной проблемой можно справиться наиболее эффективно, разбив ее на более мелкие части. Это, собственно, и есть словарное определение слова "анализ".5 и именно этим занимаются все техники, предполагающие составление списка, дерева, матрицы, диаграммы, карты или модели. Поэтому разумно ожидать, что аналитик, использующий такие инструменты для организации или визуализации информации, во многих случаях будет работать лучше, чем тот, кто этого не делает.
Аналогичным образом, многие эмпирические данные свидетельствуют о том, что человеческий разум склонен видеть то, что он ищет, и часто пропускать то, что он не ищет. Именно поэтому полезно разрабатывать сценарии и индикаторы возможных будущих событий, о которых разведка должна обеспечить раннее предупреждение. Эти методы могут помочь сборщикам получить необходимую информацию, а аналитикам - подготовить разум к распознаванию первых признаков значительных изменений.
"Удовлетворение" - это термин, который Герберт Саймон придумал для описания действий по выбору первой попавшейся альтернативы, которая кажется "достаточно хорошей", вместо того чтобы оценивать все возможные альтернативы и определять лучшую (см. главу 7 ). Удовлетворение - это распространенное аналитическое сокращение, которое люди используют при принятии повседневных решений, когда существует несколько возможных ответов. Это экономит много времени, когда вы принимаете суждения или решения, не имеющие большого значения, но это нежелательно, когда вы принимаете суждения или решения, имеющие большое значение для национальной безопасности. Кажется очевидным, что аналитик, который сознательно выявляет и анализирует альтернативные гипотезы, прежде чем прийти к заключению, с большей вероятностью найдет лучший ответ, чем тот, кто этого не делает.