15. Там же.
16. Таблица взята из книги David A. Garvin and Michael A. Roberto, "What You Don't Know About Making Decisions," Working Knowledge: A First Look at Faculty Research, еженедельный бюллетень Гарвардской школы бизнеса, 15 октября 2001 года, http://hbswk.hbs.edu/item/2544.html .
17. Этот пункт выражает наше профессиональное суждение, основанное на личном опыте и анекдотических свидетельствах, полученных в ходе обсуждения с другими опытными аналитиками. Как мы обсуждаем в главе 13 , существует очевидная необходимость в систематическом исследовании этой темы и других переменных, связанных с эффективностью структурированных аналитических техник.
18. Эта информация была предоставлена двумя старшими преподавателями разведывательного сообщества.
19. Джонатан Н. Каммингс, "Руководство группами на расстоянии: Как смягчить последствия географической дисперсии" в книге "Лидерство на расстоянии: Research in Technologically-Supported Work, ed. Сьюзан Вайсбанд (Нью-Йорк: Routledge, 2007).
20. Сэйдж Фричайлд, "Создание команды и управление эффективностью команды". Первоначально размещено на сайте www.phoenixrisingcoaching.com . Эта статья больше не доступна в сети.
13
.
Валидация методов структурированного анализа
авторам этой книги часто задают вопрос о доказательствах эффективности методов структурированного анализа. Испытания этих методов в разведывательном сообществе США проводились в основном через опыт их использования. Этот опыт, безусловно, был успешным, но его оказалось недостаточно, чтобы убедить скептиков, не желающих менять свои многолетние привычки, или многих ученых, привыкших искать твердые эмпирические доказательства. В этой главе мы рассмотрим вопрос о том, как проверить или продемонстрировать эффективность методов структурированного анализа не только в разведке, но и в других дисциплинах. Этот же процесс должен быть применим и к использованию структурированных методов в бизнесе, медицине и многих других областях, которые постоянно имеют дело с вероятностями и неопределенностями, а не с твердыми данными.
13.1 ГРАНИЦЫ ЭМПИРИЧЕСКОГО АНАЛИЗА
Выводы, полученные в ходе эмпирических экспериментов, можно обобщить и применить к анализу разведданных или любой другой конкретной области только в том случае, если условия тестирования соответствуют условиям, в которых проводится анализ. Поскольку существует так много переменных, которые могут повлиять на результаты исследования, крайне сложно контролировать все или даже большинство из них. К таким переменным относятся цель использования техники, процедуры реализации, контекст эксперимента, характер аналитической задачи, различия в опыте и навыках аналитиков, а также то, проводится ли анализ одним аналитиком или в группе. Все эти переменные влияют на результат любого эксперимента, в котором якобы проверяется полезность той или иной аналитической техники. В ряде имеющихся примеров эмпирических исследований структурированных аналитических техник мы выявили серьезные вопросы относительно применимости результатов исследований к анализу разведданных.
Два фактора ставят под сомнение практическую осуществимость валидного эмпирического тестирования методов структурированного анализа, используемых в разведке. Во-первых, эти техники обычно используются как групповой процесс. Это потребовало бы тестирования групп аналитиков, а не отдельных аналитиков. Во-вторых, разведка имеет дело с вопросами, характеризующимися высокой степенью неопределенности. Бывший директор ЦРУ Майкл Хайден писал, что из-за неопределенности, присущей разведывательному анализу, рекордная точность в 70 % является хорошим показателем.1 Если это так, то единичный эксперимент, в котором использование структурированной техники приводит к неправильному ответу, не имеет смысла. Чтобы оценить, насколько часто аналитические суждения оказываются точными, необходимо многократное повторение одного и того же эксперимента.
Многие проблемы могли бы быть в значительной степени решены, если бы эксперименты проводились с аналитиками разведки с использованием тех методов, которые они применяют каждый день для анализа типичных разведывательных вопросов.2 Но даже если бы такие условия были соблюдены, все равно остались бы серьезные препятствия для значимых выводов. Например, многие методы структурированного анализа могут использоваться для нескольких различных целей, и результаты исследований эффективности этих методов могут быть обобщены и применены к разведывательному сообществу только в том случае, если метод используется таким же образом и для тех же целей, которые фактически применяются в разведывательном сообществе.