В качестве противоядия от этой проблемы аналитики должны четко определить те релевантные переменные, по которым отсутствует информация, рассмотреть альтернативные гипотезы относительно состояния этих переменных, а затем соответствующим образом изменить свои суждения и особенно уверенность в своих суждениях. Они также должны рассмотреть вопрос о том, является ли отсутствие информации нормальным или само по себе является показателем необычной активности или бездеятельности.
Чрезмерная чувствительность к последовательности
Внутренняя согласованность доказательств помогает определить нашу уверенность в суждениях, основанных на этих доказательствах.98 С одной стороны, согласованность, безусловно, является подходящим руководством для оценки доказательств.
Люди формулируют альтернативные объяснения или оценки и выбирают то, которое охватывает наибольшее количество доказательств в рамках логически непротиворечивого сценария. Однако при некоторых обстоятельствах последовательность может быть обманчивой. Информация может быть последовательной только потому, что она сильно связана или избыточна, и в этом случае многие связанные отчеты могут быть не более информативными, чем один отчет. Или же информация может быть непротиворечивой только потому, что она взята из очень маленькой или необъективной выборки.
Такие проблемы чаще всего возникают при анализе разведданных, когда у аналитиков мало информации, например, о политических взглядах российских офицеров или некоторых африканских этнических групп. Если имеющиеся данные непротиворечивы, аналитики часто не обращают внимания на то, что они представляют собой очень маленькую и, следовательно, ненадежную выборку из большой и неоднородной группы. Это не просто вопрос необходимости работать с имеющейся информацией, какой бы несовершенной она ни была. Скорее, существует иллюзия достоверности, вызванная постоянством информации.
Тенденцию слишком полагаться на небольшие выборки окрестили "законом малых чисел". Это пародия на закон больших чисел - основной статистический принцип, согласно которому очень большие выборки будут в высшей степени репрезентативны для той популяции, из которой они взяты. Именно этот принцип лежит в основе опросов общественного мнения, но большинство людей не являются хорошими интуитивными статистиками. Люди не очень хорошо чувствуют, насколько большой должна быть выборка, чтобы на ее основе можно было делать обоснованные выводы. Так называемый закон малых чисел означает, что интуитивно мы совершаем ошибку, рассматривая малые выборки так, как если бы они были большими.
Оказалось, что это справедливо даже для математических психологов, имеющих обширную подготовку в области статистики. Психологи, проводящие эксперименты, имеют крайне неверные представления о количестве ошибок и нереалистичности, присущих небольшим выборкам данных, необоснованно доверяют ранним тенденциям, полученным на основе первых нескольких точек данных, и неоправданно высоко оценивают возможность повторить тот же самый эксперимент и получить те же самые результаты с другим набором испытуемых.
Не слишком ли самоуверенно аналитики разведки делают выводы на основе очень небольшого количества данных - особенно если эти данные кажутся согласованными? При работе с небольшим, но последовательным массивом доказательств аналитикам необходимо учитывать, насколько эти доказательства репрезентативны по отношению к общему массиву
доступной информации. Если бы было доступно больше информации, насколько вероятно, что и она будет соответствовать уже имеющимся данным? Если аналитик располагает лишь небольшим количеством доказательств и не может определить, насколько они репрезентативны, доверие к суждениям, основанным на этих доказательствах, должно быть низким, независимо от согласованности информации.
Работа со свидетельствами неопределенной точности
Существует множество причин, по которым информация часто оказывается не совсем точной: недопонимание, неправильное восприятие или наличие только части информации; предвзятость конечного источника; искажение в цепочке передачи информации от субисточника через источник, сотрудника по делу, сотрудника по отчетам к аналитику; или недопонимание и неправильное восприятие аналитиком. Кроме того, большая часть доказательств, которые аналитики используют при проведении анализа, извлекается из памяти, но аналитики часто не могут вспомнить даже источник информации, которая хранится у них в памяти, не говоря уже о степени уверенности в точности этой информации, когда она была впервые получена.