Но справедливости ради, для обеспечения полноты и еще потому, что фармацевтические компании и исследователи так любят сваливать вину на научные СМИ, мы можем проверить правдивость их заявлений.
Во время проведения одного из исследований авторов неопубликованных работ спросили, высылали ли они материалы своих работ для публикации. Было выявлено 124 исследования с необнародованными результатами, проведение каждого из которых было согласовано и контролировалось группой представителей комитета по этике США. Когда исследователи связались с авторами неопубликованных работ, оказалось, что только шесть из них подавались на публикацию и были отвергнуты.35 Возможно, скажете вы, это странный результат. Другой подход — отследить все работы, поданные в один журнал, и проверить, действительно ли статьи об исследованиях с отрицательными результатами отвергались чаще. И даже после этого те журналы, которые были проверены, похоже, трудно было обвинить в этом грехе: были отслежены 745 работ, присланных в редакцию журнала Американской медицинской ассоциации (JAMA). Оказалось, что не было разницы в частоте принятия в публикацию статей об исследованиях со значимыми или незначимыми данными.36 Такую же проверку работ провели в журналах «Британский медицинский журнал» (BMJ), «Ланцет» (Lancet), «Анналы внутренней медицины» и «Журнал костной и суставной хирургии».37И снова не было выявлено никакой разницы. Некоторые могут возразить, что это все равно может являться свидетельством пристрастного отношения редакторов, если ученые знают, что плохие результаты исследований должны предоставляться в более качественном виде, чтобы можно было победить предвзятое отношение редакторов. Возможно, журналы вели честную игру, так как знали, что за ними следят? Однако быстро перестроить всю систему ради публикации нескольких статей было бы сложно. В ходе этих исследований авторы наблюдали за тем, что происходило в редакциях журналов ежедневно. Осталось только провести эксперимент и выслать идентичные работы в различные журналы, указав в статьях различные результаты, как отрицательные, так и положительные, и посмотреть, будет ли наблюдаться разница в частоте принятий к публикациив зависимости от исхода исследования. На самом деле подобного рода опыты проводятся нечасто, так как это приводит к потере времени многих людей, но коль уж пристрастный подход к публикации научный статей имеет значение, данный эксперимент расценили как оправданное вторжение в жизнь редакций. В 1990 году исследователь по фамилии Эпштейн скомпилировал ряд поддельных работ со сходными методами и презентациями, которые отличались друг от друга лишь тем, что в одних сообщалось о положительных результатах, а в других — об отрицательных. Работы были высланы в 146 выбранных наугад журналов, пишущих о социальных проблемах: работы с положительными результатами принимались в 35 % случаев, а с отрицательными — в 26 %. Разница была совсем небольшой, чтобы считаться статистически значимой.38
Авторы других исследований попытались сделать нечто подобное в меньших масштабах. Они не предлагали статей для публикации в журнал, а с его помощью высылали поддельные научные работы различным ученым для экспертной оценки. Эти люди не принимали окончательного решения по публикации, но давали советы редакторам, поэтому учитывать значимость их мнения было бы тоже полезно. Такие исследования принесли более смешанные результаты. В одном из них, проведенном в 1977 году, поддельные статьи с одинаковыми методами, но разными результатами были высланы 75 экспертам на рассмотрение. Было отмечено пристрастное отношение рецензентов к результатам, которые не совпадали с их собственным взглядом на рассматриваемый вопрос.39
В рамках другого исследования, проведенного в 1994 году, были изучены мнения экспертов об устройстве для чрескожной электростимуляции нервов — довольно-таки сомнительные приспособления для облегчения боли. Было найдено 33 эксперта, имевших твердое мнение относительно полезности либо бесполезности данных устройств. И снова было обнаружено, что отношение к научной работе сильно зависело от уже сформировавшихся убеждений авторов, несмотря на то что исследование было небольшим.40 В другой статье подобным образом поступили с работами по изучению гомеопатических средств. Исследование выяснило, что качество результатов не оказало никакого эффекта на решение экспертов из ведущих медицинских журналов принять их к публикации или нет.41
Одно из последних исследований методом случайной выборки было проведено в 2010 году в больших масштабах для проверки, действительно ли рецензенты отвергают идеи, исходя из своих убеждений (хороший показатель пристрастного отношения журналов к результатам, в то время как они должны просто следить за тем, правильно ли спланировано исследование и грамотно ли оно проведено). Поддельные работы были высланы более чем 200 экспертам. Все работы были похожи, за исключением результатов, о которых они сообщали. Половина из экспертов получила статьи с результатами, которые не должны были им понравиться, а половина — те, что должны были быть приняты ими благосклонно. Рецензенты чаще рекомендовали статью к публикации, если получали ту версию отчета, где были нравившиеся им результаты (80 % против 70 %), чаще выявляли ошибки в работе, результаты которой им не нравились, и оценивали методы более высоко, если им нравились результаты исследования.42
В целом же, даже если были заметны явные перекосы в некоторых случаях, полученные результаты не свидетельствовали о том, что журналы — основная причина проблемы исчезновения материалов исследований с неудовлетворительными результатами. В экспериментах, изолирующих экспертов, эти независимые рецензенты относились пристрастно к некоторым работам, но их слово не было последним при решении вопроса о публикации. И во всех исследованиях, изучавших путь работ с отрицательными результатами, факты говорят о том, что они проходили в печать без всяких проблем. Возможно, журналы иногда и склонны отказывать авторам в публикации. В статье «Проблемы медицинских журналов» Ричард Смит, в прошлом редактор «Британского медицинского журнала» (BMJ), приводит прекрасный обзор недостатков, которыми грешат разные издания43;и позднее мы увидим, что они закрывают глаза даже на важные и очевидные изъяны в методике исследования. Однако было бы несправедливо обвинять в ограничении доступа к информации только их одних.
В свете всего вышесказанного данные о том, что говорят исследователи о своих собственных поступках, являются весьма красноречивыми. При проведении различных исследований во время опросов они признавались, что думали, будто не было никакого смысла предоставлять к публикации работы с отрицательными результатами, потому что статьи якобы были бы все равно отвергнуты журналами. Так заявили 20 % исследователей в области медицины в 1998 году44, 1 % исследователей в области психологии и образования в 1991 году45,и так далее46.Если бы их спросили, почему они не послали данные исследований для публикации, наиболее распространенными причинами, которые назвали бы авторы, стали бы неудовлетворительные результаты, отсутствие интереса или недостаток времени.