Амос рассказал студентам о программе исследований в Мичиганском университете, призванной ответить на вопрос: «Обладает ли человек интуитивным пониманием статистики?» Про грамматику все было известно: четырехлетние дети в речи соблюдают грамматические правила, не имея представления об их существовании. Но есть ли у людей похожее интуитивное восприятие правил статистики? Амос утверждал, что ответ — «да», с определенными оговорками. Мы провели бурную дискуссию на семинаре и пришли к выводу, что вернее было бы ответить «нет», с определенными оговорками.
После этого мы с Амосом решили, что интуитивная статистика — отличная тема для совместного исследования. В ту же пятницу мы встретились в «Кафе Римон», где любит собираться иерусалимская богема и профессура, и составили план изучения статистической интуиции серьезных исследователей. На семинаре мы пришли к выводу, что наша собственная интуиция ненадежна. За годы преподавания и использования статистики в работе мы так и не приобрели интуитивное ощущение правильности статистических результатов, полученных на малых выборках. Наши субъективные суждения оказывались предвзятыми: мы слишком охотно верили исследованиям, в которых было недостаточно доказательств, да и для своих собственных исследований отбирали недостаточно примеров[1]. Нам захотелось выяснить, страдают ли другие исследователи тем же недугом.
Мы подготовили вопросник с реалистичными статистическими проблемами, возникающими во время исследований. На конференции Общества математической психологии Амос раздал анкеты экспертам, среди которых оказались авторы двух учебников по статистике. Как мы и предполагали, наши коллеги-эксперты существенно преувеличили вероятность того, что первоначальный результат эксперимента будет успешно повторен на маленькой выборке. Вдобавок вымышленная студентка получила отвратительные советы насчет нужного ей количества наблюдений. Как выяснилось, даже у статистиков плохо со статистической интуицией.
Пока мы писали статью, обнаружилось, что нам с Амосом нравится работать вместе. Амос был неисправимым шутником, в его присутствии я тоже острил, и мы с ним работали и одновременно развлекались часами напролет. Удовольствие от совместной работы повысило нашу целеустремленность — гораздо легче добиваться совершенства, если тебе не скучно. Но самое важное было, наверное, в том, что мы не злоупотребляли критикой, хотя оба любили спорить и выискивать ошибки, Амос даже больше, чем я. Тем не менее за долгие годы нашего сотрудничества мы ни разу с ходу не отмели ни одно предположение друг друга. К тому же радовало то, что Амос часто лучше меня понимал смысл моих неопределенных идей. Он мыслил более логично, ориентировался на теорию и всегда придерживался намеченного пути. Я больше опирался на интуицию, основываясь на психологии восприятия — из этой области мы почерпнули много идей. Сходство наших характеров обеспечивало взаимопонимание, а наши различия помогали удивлять друг друга. В конечном итоге мы стали проводить большую часть рабочего времени вместе, часто подолгу гуляя. Четырнадцать лет сотрудничество определяло наши жизни, и в эти годы мы добились лучших результатов за всю свою карьеру.
Выработанная нами процедура соблюдалась много лет. Исследования велись в форме дискуссий, где мы придумывали вопросы и вместе рассматривали наши интуитивные ответы. Каждый вопрос был маленьким экспериментом, и за день мы проводили их множество. Мы не искали единственно правильный ответ на заданные статистические вопросы. Наша цель состояла в распознавании и анализе интуитивного ответа, который первым приходил в голову, который хотелось дать, даже если мы знали, что он неверен. Мы решил и — и, как оказалось, правильно, — что интуитивный ответ, пришедший в голову нам обоим, придет в голову и многим другим, а потому легко будет продемонстрировать влияние такой интуитивной реакции на оценочные суждения.
Однажды, к обоюдному восторгу, мы обнаружили, что у нас абсолютно одинаковые дурацкие представления о том, кем станут несколько знакомых нам малышей. Мы опознали трехлетнего адвоката-спорщика, зануду-профессора, чуткого и не в меру любопытного психотерапевта. Мы понимали абсурдность этих предсказаний, но они нам все равно нравились. Было очевидно, что наша интуиция основывалась на сходстве каждого из детей с культурным стереотипом профессии. Это забавное упражнение помогло нам разработать теорию о роли, которую сходство играет в предсказаниях. Потом мы проверили и развили эту теорию при помощи множества экспериментов вроде следующего.
1
Мы прочли книгу, в которой психологи подвергались критике за работу с малыми выборками без объяснения причин: Jacob Cohen, Statistical Power Analysis for the Behavioral Sciences (Hillsdale, NJ: Erlbaum, 1969).