Понимание сложной взаимосвязи между объемом информации и точностью суждений имеет значение как для управления, так и для проведения разведывательного анализа. Такое понимание предлагает аналитические процедуры и управленческие инициативы, которые действительно могут способствовать более точным аналитическим суждениям. Оно также предполагает, что ресурсы, необходимые для достижения лучшего понимания всего аналитического процесса, могут быть с пользой отвлечены от некоторых более дорогостоящих программ сбора разведданных.
Эти выводы имеют широкое значение не только для разведывательного сообщества. Анализ информации для лучшего понимания текущих событий и оценки будущих результатов является важным компонентом принятия решений в любой области. На самом деле, психологические эксперименты, которые наиболее актуальны, проводились с экспертами в таких разных областях, как медицинская и психологическая диагностика, анализ фондового рынка, прогнозирование погоды и прогнозирование скачек. Эксперименты отражают основные человеческие процессы, которые влияют на анализ любого предмета.
Эксперименты, демонстрирующие эти явления, можно проводить в любой области, где эксперты анализируют конечное число идентифицируемых и классифицируемых видов информации для вынесения суждений или оценок, которые впоследствии могут быть проверены на точность. Например, аналитик фондового рынка обычно работает с информацией о соотношении цены и прибыли, марже прибыли, доходе на акцию, объеме рынка, уровнях сопротивления и поддержки, и сравнительно легко количественно измерить точность получаемых прогнозов. Контролируя информацию, доступную группе экспертов, а затем проверяя точность суждений, основанных на этой информации, можно изучить, как люди используют информацию для выработки аналитических суждений.
Эксперимент: Ставки на лошадей
Восьми опытным гандикапперам был показан список из 88 переменных, содержащихся в типичном графике прошлых результатов - например, вес лошади, который она должна нести; процент скачек, в которых она финишировала первой, второй или третьей в течение предыдущего года; послужной список жокея; количество дней, прошедших с момента последней скачки. Каждого гандикаппера попросили сначала определить, что он считает пятью наиболее важными пунктами информации - теми, которые он хотел бы использовать для гандикапа, если бы был ограничен только пятью пунктами информации на лошадь. Затем каждого попросили выбрать 10, 20 и 40 наиболее важных переменных, которые он использовал бы, если бы был ограничен этими уровнями информации.
В этот момент гандикапперам были предоставлены подлинные данные (стерилизованные, чтобы нельзя было идентифицировать лошадей и реальные забеги) по 40 прошедшим забегам и попросили расставить пять лучших лошадей в каждом забеге в порядке убывания ожидаемого финиша. Каждому гандикапперу давали данные с шагом в 5, 10, 20 и 40 переменных, которые он считал наиболее полезными. Таким образом, он прогнозировал каждую гонку четыре раза - по одному разу с каждым из четырех различных уровней формирования. Для каждого прогноза каждый гандикаппер присваивал значение от 0 до 100 процентов, чтобы указать степень уверенности в точности своего прогноза.
Когда прогнозы гандикапперов сравнили с фактическими результатами этих 40 забегов, стало ясно, что средняя точность прогнозов оставалась неизменной независимо от того, сколько информации было у гандикапперов. Три гандикаппера показали меньшую точность при увеличении количества информации, двое улучшили свою точность, а трое остались неизменными. Однако все они выражали неуклонно растущую уверенность в своих суждениях по мере получения большего количества информации.
Прогнозы капперов относительно победителей, занявших первые места, и уверенность гандикапперов в своих прогнозах показаны на рисунке 5.
При наличии всего пяти пунктов информации уверенность гандикапперов хорошо согласовывалась с их точностью, но по мере получения дополнительной информации они становились слишком самоуверенными.
Подобные взаимосвязи между количеством информации, точностью и уверенностью аналитика были подтверждены аналогичными экспериментами в других областях. В одном из экспериментов с клиническими психологами психо-логическое досье было разделено на четыре части, представляющие последовательные хронологические периоды в жизни относительно нормального человека. Тридцати двум психологам с разным уровнем опыта было предложено вынести суждения на основе этой информации. После прочтения каждого раздела досье психологи отвечали на 25 вопросов (на которые были известны ответы) о личности испытуемого. Как и в других экспериментах, увеличение объема информации приводило к сильному росту уверенности, но незначительному увеличению точности.