Серия экспериментов по изучению психических процессов врачей, диагностирующих заболевания, выявила слабую связь между тщательностью сбора информации и точностью диагноза. Студенты-медики, чья самоописанная стратегия исследования подчеркивала тщательный сбор информации (в отличие от формирования и проверки гипотез), были значительно ниже среднего уровня по точности диагнозов. Похоже, что четкая формулировка гипотез направляет более эффективный и результативный поиск информации.
Моделирование экспертных оценок
Еще один важный вопрос касается степени, в которой аналитики обладают точным пониманием своих собственных ментальных процессов. Насколько хорошо они понимают, как они на самом деле оценивают доказательства при вынесении суждений? Для каждой ситуации, подлежащей анализу, у них есть неявная "ментальная модель", состоящая из убеждений и предположений относительно того, какие переменные наиболее важны и как они связаны друг с другом. Если аналитики хорошо понимают свою собственную ментальную модель, они должны быть в состоянии определить и описать переменные, которые они считали наиболее важными при вынесении суждений.
Однако существуют убедительные экспериментальные доказательства того, что такое самосозерцание обычно ошибочно. Эксперт воспринимает свой собственный процесс суждения, включая количество различных видов информации, принимаемой во внимание, как значительно более сложный, чем это есть на самом деле. Эксперты переоценивают важность факторов, которые оказывают лишь незначительное влияние на их суждения, и недооценивают степень, в которой их решения основаны на нескольких основных переменных. Короче говоря, ментальные модели людей проще, чем они думают, и аналитик, как правило, не знает не только о том, какие переменные должны оказывать наибольшее влияние, но и о том, какие переменные на самом деле оказывают наибольшее влияние.
Все это было продемонстрировано в ходе экспериментов, в которых аналитиков просили сделать количественные оценки относительно большого числа случаев в их области знаний, причем каждый случай определялся рядом количественных факторов. Например, в одном из экспериментов аналитиков фондового рынка попросили предсказать долгосрочный рост цен на 50 ценных бумаг, причем каждая ценная бумага описывалась в таких терминах, как соотношение цены и прибыли, тенденция роста прибыли и дивидендная доходность. После выполнения этого задания аналитиков попросили объяснить, как они пришли к своим выводам, включая то, какой вес они придали каждой из переменных. Их просили быть достаточно откровенными, чтобы другой человек, изучающий ту же информацию, мог применить те же правила суждения и прийти к тем же выводам.
Чтобы сравнить эту словесную рационализацию с суждениями, отраженными в фактических решениях аналитиков фондового рынка, можно использовать множественный регрессионный анализ или другие подобные статистические процедуры для разработки математической модели того, как каждый аналитик фактически взвешивал и комбинировал информацию о соответствующих переменных. Было проведено по меньшей мере восемь исследований такого рода в различных областях, включая одно с участием прогнозирования будущего социально-экономического роста слаборазвитых стран. Математическая модель, основанная на фактических решениях аналитика, неизбежно является более точным описанием принятия решений аналитиком, чем его собственное словесное описание того, как были приняты решения.
Несмотря на то, что существование этого феномена было убедительно продемонстрировано, его причины не вполне понятны. В литературе, посвященной этим экспериментам, можно найти лишь следующее умозрительное объяснение:
Возможно, наше ощущение, что мы можем принимать во внимание множество различных факторов, возникает потому, что, хотя мы помним, что в то или иное время мы обращали внимание на каждый из них, мы не замечаем, что редко когда мы рассматриваем более одного или двух факторов в одно и то же время.
Когда новая информация влияет на наши суждения?
Чтобы оценить актуальность и значимость этих экспериментальных выводов в контексте опыта аналитиков разведки, необходимо выделить четыре типа дополнительной информации, которую может получить аналитик: