Конечно, существует множество возможных правил, которые могут объяснить последовательность 2 - 4 - 6. Испытуемые формулировали предварительные гипотезы, такие как любая восходящая последовательность четных чисел или любая последовательность, разделенная двумя цифрами. Как и ожидалось, испытуемые, как правило, использовали неверный подход, пытаясь подтвердить, а не исключить такие гипотезы. Например, чтобы проверить гипотезу о том, что правилом является любая восходящая последовательность четных чисел, можно спросить, соответствует ли правилу последовательность 8 - 10 - 14.
Читатели, которые следили за ходом рассуждений до этого момента, помнят, что эту гипотезу невозможно доказать, перечисляя примеры восходящих последовательностей четных чисел, которые, как выяснилось, соответствуют искомому правилу. Гипотезу можно опровергнуть, только приведя в пример возрастающую последовательность нечетных чисел и обнаружив, что она тоже соответствует правилу.
Правильным правилом были любые три возрастающих числа, либо четные, либо нечетные. Из-за стратегии поиска подтверждающих доказательств только шесть из 29 испытуемых в эксперименте Уэйсона оказались правы с первого раза, когда им показалось, что они открыли правило. Когда этот же эксперимент был повторен другим исследователем с несколько иной целью, никто из испытуемых не из 51 испытуемого дали правильный ответ с первого раза, когда им показалось, что они открыли правило.
В эксперименте Вейсона стратегия поиска подтверждающих, а не опровергающих доказательств была особенно ошибочной, поскольку 2 - Последовательность 4 - 6 согласуется с таким большим количеством гипотез. Испытуемым было легко получить подтверждение практически любой гипотезы, которую они пытались подтвердить. Важно понимать, что подобные ситуации, когда улики согласуются с несколькими разными гипотезами, чрезвычайно распространены в разведывательном анализе.
Рассмотрим, например, списки индикаторов раннего предупреждения. Они составлены таким образом, чтобы свидетельствовать о готовящемся нападении. Однако очень многие из них также соответствуют гипотезе о том, что военные действия - это блеф с целью оказать дипломатическое давление и что никаких военных действий не последует. Если аналитики ухватятся только за одну из этих гипотез и будут искать доказательства для ее подтверждения, они часто будут сбиты с пути.
Доказательства, доступные аналитику разведки, в одном важном смысле отличаются от доказательств, доступных испытуемым, которых просят вывести правило последовательности чисел. Аналитик разведки обычно имеет дело с проблемами, в которых доказательства имеют лишь вероятностную связь с рассматриваемыми гипотезами. Таким образом, редко удается полностью исключить какую-либо гипотезу, поскольку самое большее, что можно сказать, - это то, что данная гипотеза маловероятна с учетом характера доказательств, а не то, что она невозможна.
Это ослабляет выводы, которые можно сделать на основе стратегии, направленной на устранение гипотез, но ни в коем случае не оправдывает стратегию, направленную на их подтверждение.
Обстоятельства и недостаток данных часто препятствуют применению строгих научных процедур в анализе разведданных, включая, в частности, статистические методы проверки гипотез. Тем не менее, нет никаких причин, по которым нельзя использовать базовую концептуальную стратегию поиска противоположных доказательств. Оптимальная аналитическая стратегия требует, чтобы аналитики искали информацию, опровергающую их любимые теории, а не использовали стратегию удовлетворения, позволяющую принять первую гипотезу, которая кажется согласующейся с доказательствами.
Заключение
Существует множество подробных оценок провалов разведки, но мало сопоставимых описаний ее успехов. Анализируя литературу об успехах разведки, Фрэнк Стеч обнаружил множество примеров успеха, но только три истории, которые содержат достаточно методологических подробностей, чтобы пролить свет на интеллектуальные процессы и методы, способствовавшие успеху. Речь идет об успешных усилиях американской и британской разведок во время Второй мировой войны по анализу немецкой про-паганды, прогнозированию передвижения немецких подводных лодок и оценке будущих возможностей и намерений немецких ВВС.