Личные анекдоты, реальные истории о том, как люди реагируют или не реагируют на источники информации, и контролируемые эксперименты - все это можно приводить до бесконечности, "чтобы проиллюстрировать тезис о том, что резюме данных, несмотря на их логически убедительные последствия, оказывают меньшее влияние, чем более слабые, но более яркие доказательства". Представляется вероятным, что аналитики разведки также придают недостаточное значение статистической информации.
Аналитики должны придавать мало значения анекдотам и личным историям, если только не известно, что они типичны, и, возможно, вообще не придавать им значения, если можно получить совокупные данные, основанные на более достоверной выборке.
Отсутствие доказательств
Главная особенность разведывательного анализа заключается в том, что ключевой информации часто не хватает. Аналитические проблемы выбираются на основе их важности и предполагаемых потребностей потребителей, без особого внимания к наличию информации. Аналитикам приходится делать все возможное с тем, что у них есть, так или иначе принимая во внимание тот факт, что многие важные сведения, как известно, отсутствуют.
В идеале аналитики разведки должны уметь распознавать, каких именно доказательств не хватает, и учитывать это в своих расчетах. Они также должны уметь оценивать потенциальное влияние недостающих данных и соответствующим образом корректировать уверенность в своих суждениях. К сожалению, этот идеал, похоже, не является нормой. Эксперименты показывают, что "с глаз долой, из сердца вон" - лучшее описание влияния пробелов в доказательствах.
Эта проблема была продемонстрирована с помощью деревьев отказов, которые представляют собой схематические рисунки, показывающие все, что может пойти не так в любом начинании. Деревья отказов часто используются для изучения неисправностей сложных систем, таких как ядерный реактор или космическая капсула.
Нескольким группам опытных механиков было продемонстрировано дерево неисправностей, показывающее все причины, по которым автомобиль может не завестись.97 В дереве было семь основных ветвей - недостаточный заряд аккумулятора, неисправная система запуска, неисправная система зажигания, неисправная топливная система, другие проблемы с двигателем, злонамеренные действия или вандализм и все остальные проблемы, а также несколько подкатегорий под каждой ветвью. Одной группе показали все дерево и попросили представить 100 случаев, когда автомобиль не заводится. Затем членов этой группы попросили оценить, сколько из 100 случаев были
отнесены к каждой из семи основных ветвей дерева. Второй группе механиков показали только неполную версию дерева: три основные ветви были опущены, чтобы проверить, насколько чувствительны испытуемые к тому, что было опущено.
Если бы суждения механиков были полностью чувствительны к отсутствующей информации, то количество случаев отказа, которые обычно приписываются опущенным ветвям, должно было бы быть добавлено к категории "Другие проблемы". Однако на практике категория "Другие проблемы" была увеличена лишь наполовину. Это говорит о том, что механики, которым показывали неполное дерево, не могли полностью осознать и учесть в своих суждениях тот факт, что некоторые причины, по которым автомобиль не заводится, отсутствуют. Когда тот же эксперимент проводился с немеханиками, эффект от отсутствия ветвей был гораздо сильнее.
По сравнению с большинством вопросов интеллектуального анализа, эксперимент "Машина не заводится" включал в себя довольно простые аналитические суждения, основанные на информации, которая была представлена в хорошо организованной манере. То, что представление соответствующих переменных в сокращенном дереве неисправностей было неполным, могли и должны были осознать механики, выбранные в качестве испытуемых. Аналитики разведки часто сталкиваются с подобными проблемами. Отсутствие данных - нормальное явление в проблемах разведки, но признать, что важная информация отсутствует, и учесть этот факт в суждениях по вопросам разведки, вероятно, сложнее, чем в более конкретном эксперименте "машина не заводится".