Исследователи нашли в общей сложности 74 эксперимента, заслуживающих внимания, где принимали участие 12500 пациентов. 38 из этих исследований дали положительные результаты, которые подтверждали эффективность препарата, а результат 36 был отрицательным. В итоге данные по негативным и положительным эффектам распределились поровну. Затем исследователи занялись поиском информации об этих клинических экспериментах в научной литературе, опубликованных материалах, открытых для врачей и пациентов. Картина получилась совсем другой. По 37 исследованиям, принесшим положительные результаты, то есть по всем, кроме одного, результаты были опубликованы полностью, часто с хвалебными отзывами. Однако у исследований, показавших отрицательные данные, была другая судьба: было опубликовано только три из них. 22 эксперимента были просто потеряны в анналах истории и не появлялись больше нигде, кроме как в тех пыльных, неряшливо организованных папках, собранных в архиве Управления по контролю за качеством пищевых продуктов и лекарственных веществ. Информация об остальных 11 исследованиях, принесших негативные результаты и хранившихся в сводках ведомства, тоже появилась в научных изданиях, но статьи были написаны так, как будто исследования лекарства закончились успешно. Если вы посчитаете, что все изложенное звучит абсурдно, я соглашусь с вами. В главе 4 «Обман в исследованиях» мы увидим, как результаты исследований могут быть переработаны и «приглажены» так, чтобы можно было исказить их и преувеличить успех.
Это была великолепная работа, в ходе которой было изучено 12 препаратов всех крупных производителей лекарств без выделения какого-либо одного «плохого парня». Они ясно показали расшатанность и хаотичность системы: в действительности было 38 исследований с положительными результатами и 36 с отрицательными, в то время как в научной литературе было найдено 48 статей об успешных исследованиях и 3 о неудавшихся. Потрудитесь остановиться и сравнить эти два соотношения: 38 положительных против 36 отрицательных и 48 положительных против 3 отрицательных.
Если бы речь шла об одном-единственном исследовании, проводившемся одной группой ученых, решивших утаить половину данных, так как они не вписывались в общую картину, которую они хотели получить, тогда вполне уместно было бы назвать произошедшее нарушением правил проведения исследований, должностным преступлением. Однако если подобное творится руками сотен и тысяч ученых по всему миру, в результате чего исчезают целые исследования, финансируемые как государством, так и частными компаниями, это воспринимается как нормальное явление.13 Все это безнаказанно совершается под носом у бдительных государственных ведомств и профессиональных органов надзора, которые годами не предпринимают ничего, несмотря на явный вред, который приносит пациентам утаивание информации.
Еще одно даже более странное наблюдение: о проблеме сокрытия отрицательных данных исследований было известно уже тогда, когда наукой начали заниматься серьезно.
Данный феномен был впервые формально задокументирован психологом Теодором Стерлингом в 1959 году.14 Он просмотрел каждую работу, опубликованную в четырех крупных журналах по психологии того времени, и обнаружил, что результаты 286 из 294 исследований были статистически значимыми. Такие данные, заявил он, неубедительны. Они не могут говорить о беспристрастии всех проведенных исследований, так как, если мы поверим таким результатам, нам придется поверить и в то, что почти каждая теория, проверяемая психологами экспериментальным путем, оказалась верной. Если бы психологи на самом деле умели так блестяще предсказывать результаты проверки своих гипотез, то не было бы почти никакого смысла в проведении каких бы то ни было экспериментов. В 1995 году в конце своей карьеры любопытный психолог снова вернулся к изучению того же вопроса и обнаружил, что почти ничего не изменилось.15
Стерлинг был первым, кто изложил свои подозрения официально и по-научному, однако эта горькая правда научному миру была известна уже на протяжении многих столетий. Френсис Бэкон писал в 1620 году, что мы часто вводим в заблуждение сами себя, когда вспоминаем моменты, когда что-то работало, и забываем случаи, когда оно не работало.16 Фаулер в 1786 году составил список болезней, которые он лечил мышьяком, и подчеркнул, что он мог бы умолчать о своих неудачах, как наверняка захотели бы сделать другие ученые, но несмотря на соблазн включил также в отчет и нелицеприятные данные.17 Он объяснил, что сделать по-другому означало бы ввести в заблуждение читателя.
Однако только 30 лет назад люди начали осознавать, что сокрытие результатов представляет огромную проблему для медицины. В 1980 году Элина Хеммински обнаружила, что почти половина всех клинических исследований, проведенных в Финляндии и Швеции в 70-х годах, осталась неопубликованной.18 Позже, в 1986 году, американский исследователь Роберт Саймс решил проанализировать клинические исследования, проведенные для проверки эффективности нового препарата от рака яичников. Это было важное исследование, так имело отношение к вопросу жизни и смерти. Комбинированная химиотерапия от этого вида рака приводила к оченьтяжелым побочным эффектам, и, зная это, многие исследователи надеялись, что можно будет использовать сначала один алкилирующий препарат, перед тем как переходить к полномасштабной химиотерапии. Саймс изучил все исследования, опубликованные по этому вопросу в научных изданиях, читаемых врачами и учеными. На основе прочитанного создавалось впечатление, что прописывать одно лекарство было целесообразнее: женщины с обширным раком яичника (очень неблагоприятный диагноз), которые принимали один лишь алкилирующий препарат, значительно чаще показывали положительную динамику, а продолжительность их жизни была дольше. Затем у Саймса возникла блестящая идея. Он знал, что иногда данные исследований не публикуются, и слышал, что работы, принесшие менее привлекательные результаты, чаще всего пропадают без следа. Однако доказать это было очень сложно: нужно было найти честную, репрезентативную выборку данных всех исследований, которые были проведены, и затем сравнить их результаты с малым набором данных, которые были опубликованы, чтобы увидеть разницу. Получить такую информацию из государственных ведомств по контролю за лекарствами было нелегко (мы обсудим эту проблему далее), и вместо этого он обратился в Международный банк данных по исследованию рака. В нем хранился журнал регистрации всех примечательных клинических исследований, которые проводились в США, включая большинство тех, что спонсировало правительство и другие организации всего мира. Список, попавший к нему в руки, конечно же был неполным, но в нем была одна важная особенность: исследования регистрировались до того, как по ним подавались результаты, и поэтому любой список, составленный при помощи этого источника, должен был представлять, по меньшей мере, репрезентативный срез всех исследований, которые когда-либо были проведены. Кроме того, список был составлен независимо от того, были ли результаты исследований положительными или отрицательными.
Когда Саймс сравнил результаты опубликованных исследований с данными предварительно зарегистрированных исследований, результаты его ошеломили. При изучении научных статей — работ, которые исследователи и редакторы журналов отбирали к публикации, — создавалось впечатление, что применение одних только алкилирующих препаратов было обосновано, так как благодаря им значительно сокращалась частота летальных исходов от рака яичника. Но если посмотреть на результаты только предварительно зарегистрированных исследований, представлявших собой объективную, непредвзятую выборку из всего количества исследований, когда-либо проведенных, то становилось понятно, что новое лечение было ничуть не лучше, чем консервативная химиотерапия.