Еще одно даже более странное наблюдение: о проблеме сокрытия отрицательных данных исследований было известно уже тогда, когда наукой начали заниматься серьезно.
Данный феномен был впервые формально задокументирован психологом Теодором Стерлингом в 1959 году.14 Он просмотрел каждую работу, опубликованную в четырех крупных журналах по психологии того времени, и обнаружил, что результаты 286 из 294 исследований были статистически значимыми. Такие данные, заявил он, неубедительны. Они не могут говорить о беспристрастии всех проведенных исследований, так как, если мы поверим таким результатам, нам придется поверить и в то, что почти каждая теория, проверяемая психологами экспериментальным путем, оказалась верной. Если бы психологи на самом деле умели так блестяще предсказывать результаты проверки своих гипотез, то не было бы почти никакого смысла в проведении каких бы то ни было экспериментов. В 1995 году в конце своей карьеры любопытный психолог снова вернулся к изучению того же вопроса и обнаружил, что почти ничего не изменилось.15
Стерлинг был первым, кто изложил свои подозрения официально и по-научному, однако эта горькая правда научному миру была известна уже на протяжении многих столетий. Френсис Бэкон писал в 1620 году, что мы часто вводим в заблуждение сами себя, когда вспоминаем моменты, когда что-то работало, и забываем случаи, когда оно не работало.16 Фаулер в 1786 году составил список болезней, которые он лечил мышьяком, и подчеркнул, что он мог бы умолчать о своих неудачах, как наверняка захотели бы сделать другие ученые, но несмотря на соблазн включил также в отчет и нелицеприятные данные.17 Он объяснил, что сделать по-другому означало бы ввести в заблуждение читателя.
Однако только 30 лет назад люди начали осознавать, что сокрытие результатов представляет огромную проблему для медицины. В 1980 году Элина Хеммински обнаружила, что почти половина всех клинических исследований, проведенных в Финляндии и Швеции в 70-х годах, осталась неопубликованной.18 Позже, в 1986 году, американский исследователь Роберт Саймс решил проанализировать клинические исследования, проведенные для проверки эффективности нового препарата от рака яичников. Это было важное исследование, так имело отношение к вопросу жизни и смерти. Комбинированная химиотерапия от этого вида рака приводила к очень тяжелым побочным эффектам, и, зная это, многие исследователи надеялись, что можно будет использовать сначала один алкилирующий препарат, перед тем как переходить к полномасштабной химиотерапии. Саймс изучил все исследования, опубликованные по этому вопросу в научных изданиях, читаемых врачами и учеными. На основе прочитанного создавалось впечатление, что прописывать одно лекарство было целесообразнее: женщины с обширным раком яичника (очень неблагоприятный диагноз), которые принимали один лишь алкилирующий препарат, значительно чаще показывали положительную динамику, а продолжительность их жизни была дольше. Затем у Саймса возникла блестящая идея. Он знал, что иногда данные исследований не публикуются, и слышал, что работы, принесшие менее привлекательные результаты, чаще всего пропадают без следа. Однако доказать это было очень сложно: нужно было найти честную, репрезентативную выборку данных всех исследований, которые были проведены, и затем сравнить их результаты с малым набором данных, которые были опубликованы, чтобы увидеть разницу. Получить такую информацию из государственных ведомств по контролю за лекарствами было нелегко (мы обсудим эту проблему далее), и вместо этого он обратился в Международный банк данных по исследованию рака. В нем хранился журнал регистрации всех примечательных клинических исследований, которые проводились в США, включая большинство тех, что спонсировало правительство и другие организации всего мира. Список, попавший к нему в руки, конечно же был неполным, но в нем была одна важная особенность: исследования регистрировались до того, как по ним подавались результаты, и поэтому любой список, составленный при помощи этого источника, должен был представлять, по меньшей мере, репрезентативный срез всех исследований, которые когда-либо были проведены. Кроме того, список был составлен независимо от того, были ли результаты исследований положительными или отрицательными.
Когда Саймс сравнил результаты опубликованных исследований с данными предварительно зарегистрированных исследований, результаты его ошеломили. При изучении научных статей — работ, которые исследователи и редакторы журналов отбирали к публикации, — создавалось впечатление, что применение одних только алкилирующих препаратов было обосновано, так как благодаря им значительно сокращалась частота летальных исходов от рака яичника. Но если посмотреть на результаты только предварительно зарегистрированных исследований, представлявших собой объективную, непредвзятую выборку из всего количества исследований, когда-либо проведенных, то становилось понятно, что новое лечение было ничуть не лучше, чем консервативная химиотерапия.