“cпонтанное улучшение, колебания симптомов, возвращение в норму лишь условно связаны с эффектом плацебо. Результаты Бичера получены за счет округления, некорректных результирующих переменных, ответов испытуемых из вежливости, подгона экспериментальных условий, невротических или психотических просчетов, психосоматических явлений, неправильного цитирования и т. д."
Повторный анализ показывает, что есть ряд факторов, которые могут повлиять результаты лечения и оценку этих результатов, поэтому очень трудно быть уверенным только то, что речь идет о вмешательстве, которое приводит к улучшению. Мы должны также обдумать «артефакты, такие как естественное протекание болезни (то есть тенденция людей выздоравливать без какого‑либо лечения вообще), то, что люди ведут себя иначе, когда они участвуют в эксперименте, чем когда болеют дома, желание угодить экспериментаторам, давая желательные ответы… «(Bausell 2007: 27), и множество других факторов, не связанных с лекарством, которое мы изучаем и независимо от любого предполагаемого механизма, который производит наблюдаемый эффект.
В мае 2001 года The New England Journal of Medicine опубликовал статью, в которой ставится под сомнение обоснованность эффекта плацебо. В статье «Is the Placebo Powerless? An Analysis of Clinical Trials Comparing Placebo with No Treatment» датские исследователи Asbjørn Hróbjartsson and Peter C. Götzsche»нашли мало доказательств того, что плацебо имеет мощные клинические эффекты». Их мета–анализ 114 исследований показал, что «по сравнению с отсутствием лечения, плацебо не оказало существенного влияния на бинарные результаты, независимо от того, являются ли эти результаты субъективными или объективными. В испытаниях с непрерывными результатами плацебо показывает положительный эффект, но эффект уменьшается с увеличением выборки, с указанием возможных погрешностей, связанных с последствиями небольших исследований.» (Большинство исследований, проанализированных Hróbjartsson и Götzsche были небольшие: у 82 из исследований средний размер группы составил 27 и для других 32 исследований в среднем 51).
«Высокий уровень эффекта плацебо, о котором неоднократно сообщали во многих статьях, на наш взгляд, является результатом недостатков методологии исследований», сказал д–р Hróbjartsson, профессор медицинской философии и методологии исследования в Университете Копенгагена.
Типичным бракованным исследованием Hróbjartsson называет работы хирурга Дж. Брюса Мозли, который выполнял мнимую операцию колена у восьми из десяти пациентов. (При мнимой операции делают незначительный разрез на колене и зашивают). Через шесть месяцев после операции все пациенты были удовлетворены результатом. Вместо того, чтобы сделать вывод, что пациенты не нуждались в хирургии или вылечились сами по себе, он сделал вывод, что исцеление восьми пациентов было связано с эффектом плацебо, хотя состояние двух прооперированных пациентов было значительно лучше. Irving Kirsch and Guy Sapirstein совершили подобную методологическую ошибку в своем спорном мета–анализе, который показал, что антидепрессанты работают как плацебо, вместо того, что антидепрессанты являются ненужными и бесполезными.
Еще один пример показывает, что необходима лучшая методология исследований эффекта плацебо.
"Сорок лет назад молодой кардиолог в Сиэтле по имени Леонард Кобб провел уникальный опыт, в те времена широко используемый в лечении стенокардии: врачи сделали небольшие разрезы в области груди и связали узлами две артерии, чтобы увеличить приток крови к сердцу. Это была популярная техника – 90% пациентов сообщили, что это помогло, но когда Кобб сравнил их с результатами плацебо хирургии, в котором он сделал разрезы, но не перевязывал артерий, мнимые операции оказались столь же успешными. От процедуры, известной как внутреннее грудное сшивание, вскоре отказались." («The Placebo Prescription» by Margaret Talbot, New York Times Magazine, January 9, 2000).
Разве Кобб показал, что такого рода операции работают как эффект плацебо? Или же он показал, что операция не нужна, потому что большинство пациентов излечиваются сами, если ничего не было сделано?
Чтобы исключить естественную историю болезни или возврат в норму, многие исследователи используют третью группу (контрольную), которая не получает никакого лечения вообще. Если группа «плацебо» показывает лучшие результаты, чем контрольная, то плацебо эффективно. Hróbjartsson и Götzsche думают, что большинство этих исследований тоже имеют недостатки, в основном слишком малые группы или вследствие сообщений пациентов, которые заранее устраивают исследователя.