Учитывая необходимую роль, которую играют предположения при вынесении разведывательных суждений на основе неполной и неоднозначной информации, представляется вероятным, что аналитик, использующий проверку ключевых предположений, в среднем будет работать лучше, чем аналитик, не прилагающий усилий для выявления и проверки предположений. Также существует множество эмпирических доказательств того, что рефрейминг вопроса помогает разблокировать сознание и позволяет увидеть другие перспективы.
Эмпирические исследования эффективности работы малых групп практически единодушно подчеркивают, что группы принимают лучшие решения, когда их члены привносят за стол переговоров разнообразные идеи, опыт, мнения и точки зрения.6 Глядя на результаты этих исследований, можно сделать вывод, что использование любой структурированной техники в групповом процессе, скорее всего, повысит качество анализа по сравнению с анализом, проводимым отдельным человеком, использующим эту технику, или группой, которая не использует никакой структурированной процедуры для выявления несовпадающих идей или мнений.
Опыт аналитиков разведывательного сообщества США, использующих программу Analysis of Competing Hypotheses (ACH) и аналогичные компьютерные аналитические инструменты, дает анекдотические доказательства в пользу этого вывода. Одна из целей использования ACH - добиться лучшего понимания различий во мнениях с другими аналитиками или между аналитическими подразделениями.7 Создание матрицы ACH требует пошагового обсуждения используемых доказательств и аргументов и обсуждения того, как они интерпретируются - как согласующиеся или не согласующиеся с каждой из гипотез. Этот процесс требует времени, но многие аналитики считают, что это время потрачено не зря; по их словам, освоив эту технику, они экономят время в долгосрочной перспективе.
Опыт обучения аналитиков разведки методу ACH показывает, что структурированные методы могут дать гораздо больше разносторонней информации при использовании в качестве группового процесса. Аналитики разведки и правоохранительных органов считают групповое обсуждение наиболее ценной частью процесса АКН. Использование структурированных методов не гарантирует правильного суждения, но эти анекдотические данные свидетельствуют о том, что такие методы вносят значительный вклад в улучшение анализа.
13.3 ПРОГРАММА ДЛЯ ЭМПИРИЧЕСКОЙ ПРОВЕРКИ
В разделе 13.1 , посвященном пределам эмпирического анализа, было показано, что эмпирический анализ точности структурированных методов крайне затруднителен, если вообще возможен. Теперь мы утверждаем, что даже пытаться нецелесообразно. Структурированные аналитические техники сами по себе не предсказывают будущее; они также не гарантируют отсутствие неожиданностей. Когда аналитическое суждение оказывается ошибочным, редко есть основания для того, чтобы понять, следует ли приписывать ошибку структурированной технике, аналитику, использующему эту технику, или присущей ситуации неопределенности.
Мы считаем, что наиболее реальный и эффективный подход к эмпирической оценке методов структурированного анализа - это изучение цели, для которой используется метод, а затем проверка того, действительно ли он достигает этой цели, или цель может быть достигнута каким-то лучшим способом. В этом разделе изложена программа эмпирического документирования ценности, полученной в результате применения методов структурированной аналитики. Этот подход вписывается в реальность того, как на самом деле проводится анализ в разведывательном сообществе США. Затем мы покажем, как этот подход может быть применен к анализу трех конкретных методик.
Шаг 1 - договориться о наиболее распространенных причинах аналитических ошибок и о том, какие структурированные техники наиболее полезны для их предотвращения.
Шаг 2 - определить, что мы знаем или думаем, что знаем о пользе использования конкретной структурированной техники. Это - достоверность, описанная ранее в этой главе, плюс то, чему, по мнению аналитиков, они научились в результате частого использования техники. Например, мы думаем, что знаем, что ACH дает множество преимуществ, которые помогают создать более качественный разведывательный продукт. Это происходит благодаря:
Приводит к гораздо более широкому поиску информации, чем тот, который аналитики вели бы в противном случае. Фокус на отклонении гипотез заставляет аналитика шире взглянуть на то, какую информацию он ищет и считает наиболее ценной.