Требование к аналитикам начинать с разработки полного набора альтернативных гипотез. Этот процесс снижает риск так называемого "сатисфичинга" - принятия первого пришедшего в голову ответа, который, как кажется, удовлетворяет потребность. Он гарантирует, что все разумные альтернативы будут рассмотрены до того, как аналитик закрепится в предпочтительном заключении.
Побуждение аналитиков к попыткам опровергнуть гипотезы, а не поддержать одну гипотезу. Это помогает аналитикам преодолеть тенденцию искать или интерпретировать новую информацию таким образом, чтобы она подтверждала их предубеждения, и игнорировать информацию и интерпретации, противоречащие прежним убеждениям.
Разбиение аналитической проблемы на составные части, показывая доказательства и гипотезы и их взаимосвязь. Это также позволяет аналитикам сортировать данные по типу, дате и диагностичности доказательств.
Обеспечение возможности сортировки и сравнения доказательств по аналитически полезным категориям, таким как доказательства из открытых источников против доказательств из тайных источников и из человеческих источников против технических источников, недавние доказательства против старых доказательств, и выводы, основанные на твердых доказательствах (отчеты разведки) против мягких доказательств (собственные предположения и логические выводы аналитика).
Подталкивает аналитиков к тому, чтобы представлять выводы в более организованном и прозрачном виде, чем это было бы возможно в других случаях.
Создание основы для определения ключевых предположений и показателей, которые можно отслеживать на постоянной основе, чтобы определить, в каком направлении развиваются события.
Оставляйте четкий аудиторский след о том, как проводился анализ и как отдельные аналитики могли отличаться в своих предположениях или суждениях.
Зафиксируйте общий уровень уверенности аналитиков в качестве данных и укажите, какая дополнительная информация необходима или какие требования к сбору данных должны быть разработаны.
Шаг 3 заключается в получении доказательств для проверки того, действительно ли методика обеспечивает ожидаемые преимущества. Получение доказательств в пользу или против этих преимуществ не ограничивается результатами эмпирических экспериментов. Оно включает в себя структурированные интервью с аналитиками, менеджерами и клиентами; наблюдения за встречами аналитиков, когда они используют эти техники; опросы, а также эксперименты.
Шаг 4 заключается в получении доказательств того, действительно ли эти преимущества приводят к повышению качества анализа. Качество анализа не ограничивается точностью. К другим показателям качества относятся ясность изложения, прозрачность того, как были сделаны выводы, и создание аудиторского следа для последующей проверки - все это преимущества, которые могут быть получены, например, при использовании ACH. Подтверждением более высокого качества может служить независимая оценка стандартов качества или опрос клиентов, получающих отчеты. Еще одним критерием, представляющим интерес, является экономическая эффективность, включающая затраты как времени аналитиков, так и денег. Как уже говорилось в этой книге, мы утверждаем, что использование структурированной техники часто экономит время аналитиков в долгосрочной перспективе. Это утверждение также должно быть подвергнуто эмпирическому анализу трех конкретных методик (см. Рисунок 13.3 ).
Рисунок 13.3 Три подхода к оценке
Источник: 2009 Pherson Associates, LLC.
ПРОВЕРКА ОСНОВНЫХ ДОПУЩЕНИЙ
Проверка ключевых допущений, описанная в главе 8 , является одной из наиболее важных и часто используемых техник. Ее цель - сделать явными, а затем оценить предположения, которые лежат в основе любого конкретного аналитического суждения или аналитического подхода. Вопросы для оценки: (1) Насколько успешно техника достигает этой цели? и (2) Как это повышает качество и, возможно, точность анализа? Ниже приведен список исследований, которые могут ответить на эти вопросы:
Опросите аналитиков, чтобы выяснить, как часто они используют ту или иную технику, каковы их критерии, когда ее следует применять, каковы процедуры ее использования, в чем они видят преимущества, полученные от ее применения, и какое влияние она оказала на их отчет.
Сравните качество случайной выборки отчетов, написанных без проверки ключевых предположений, с отчетами, написанными после такой проверки.