Взгляд потребителя
Когда потребители разведывательных отчетов оценивают качество разведывательного продукта, они задают себе вопрос: "Как много я узнал из этих отчетов, чего я еще не знал?". Отвечая на этот вопрос, большинство людей склонны недооценивать вклад новой информации. Это предубеждение "я знал это все время" приводит к тому, что потребители недооценивают разведывательный продукт.
То, что люди действительно часто реагируют на новую информацию подобным образом, было проверено в серии экспериментов с участием 320 человек, каждый из которых ответил на один и тот же набор из 75 фактических вопросов, взятых из альманахов и энциклопедий. В качестве меры уверенности в своих ответах испытуемые присваивали каждому вопросу число от 50 до 100 процентов, обозначающее их оценку вероятности того, что они выбрали правильный ответ.
На втором этапе эксперимента испытуемые были разделены на три группы. Первой группе дали 25 ранее заданных вопросов и попросили ответить на них точно так же, как они отвечали ранее. Таким образом проверялась способность испытуемых помнить свои предыдущие ответы. Второй группе дали тот же набор из 25 вопросов, но с правильными ответами, обведенными кружком "для общего сведения". Их тоже попросили ответить, воспроизведя свои предыдущие ответы. Таким образом, проверялась степень, в которой заучивание правильных ответов искажало воспоминания испытуемых об их собственных предыдущих ответах, что позволило измерить ту же самую предвзятость в воспоминаниях о предыдущих оценках, которая обсуждалась выше с точки зрения аналитика.
Третьей группе был дан другой набор из 25 вопросов, с которыми они ранее не встречались, но которые были схожи по сложности, так что результаты были бы сопоставимы с двумя другими группами. Правильные ответы были отмечены в анкете, и испытуемых попросили ответить на вопросы так, как они ответили бы, если бы им не сказали ответ. Таким образом проверялась их способность точно вспомнить, как много им было известно до того, как они узнали правильный ответ. Ситуация сопоставима с ситуацией с потребителями разведывательной информации, которых просят оценить, насколько много они узнали из отчета, и которые могут сделать это, только пытаясь вспомнить объем своих знаний до того, как они прочитали отчет.
Наиболее значимые результаты были получены от третьей группы испытуемых. Эта группа явно переоценивала то, что они знали изначально, и недооценивала то, сколько они узнали, получив ответ. Для 19 из 25 предметов в одном варианте эксперимента и 20 из 25 предметов в другом варианте эта группа присвоила правильным альтернативам более высокие вероятности, чем можно было бы ожидать, если бы они не знали правильных ответов.
В итоге эксперимент подтвердил результаты предыдущего эксперимента, показавшего, что люди, получившие ответ, склонны вспоминать, что знали больше, чем на самом деле. Он также показал, что люди имеют еще большую склонность преувеличивать вероятность того, что они знали бы правильный ответ, если бы им его не сообщили. Другими словами, люди склонны недооценивать как то, сколько они узнают из новой информации, так и то, насколько новая информация позволяет им с большей уверенностью выносить правильные суждения. В той мере, в какой потребители разведывательной информации проявляют такие же предубеждения, они будут склонны недооценивать ценность для них разведывательной информации.
Взгляд надзирателя
В данном случае под надзором понимается тот, кто расследует деятельность разведки, проводя посмертную экспертизу громкого провала разведки. Такие расследования проводятся Конгрессом, сотрудниками разведывательного сообщества, руководством ЦРУ или ИР. Для тех, кто не входит в исполнительную власть и не читает регулярно разведывательную продукцию, такого рода ретроспективная оценка известных провалов разведки является главной основой для суждений о качестве разведывательного анализа.
Основополагающий вопрос, возникающий при любом посмертном расследовании провала разведки, заключается в следующем: Должны ли были аналитики предвидеть, что произойдет? Непредвзятая оценка эффективности разведки зависит от способности дать непредвзятый ответ на этот вопрос.
К сожалению, после того как событие произошло, невозможно стереть из памяти знание об этом событии и восстановить, какими были бы наши мыслительные процессы в более ранний момент времени. При повторном конструировании прошлого возникает тенденция к детерминизму, к мысли о том, что произошедшее было неизбежно в данных обстоятельствах и, следовательно, предсказуемо. Короче говоря, существует тенденция считать, что аналитики должны были предвидеть события, которые на самом деле были непредсказуемы на основе информации, доступной в то время.