Совершая такую ошибку, мы часто упускаем из виду смешанный фактор – третий, возможно, неочевидный фактор, который влияет как на предполагаемую причину, так и на наблюдаемый эффект, мешая делать правильный вывод. В случае с прививкой от гриппа этим смешивающим фактором будет сезон простуд и гриппа. Людям предлагают вакцинацию от гриппа в то время года, когда выше вероятность заболеть, независимо от того, поставили им прививку или нет. Скорее всего, эти симптомы вызывает обыкновенная простуда, от которой прививка от гриппа не защищает.
В других случаях корреляция возникает совершенно случайно.
Проверить ее между самыми разными фактами сейчас проще, чем когда-либо, поэтому обнаруживается масса ложных корреляций.
Есть уморительный сайт (и книга) под названием «Ложные корреляции»[63], полный глупых результатов. На приведенном ниже графике показана такая корреляция между потреблением сыра и смертью по причине запутывания в простынях.
Лицензия Creative Commons. Тайлер Виген «Ложные корреляции», www.tylervigen.com/spurious-correlations.
Как-то раз, когда Лорен училась в старших классах, она почувствовала, что заболевает простудой, и ее папа велел ей пить много жидкости. В тот день она выпила половину упаковки малинового напитка Snapple, и, к ее удивлению, на следующий день ей стало намного лучше! Доказывает ли это, что малиновый Snapple – чудодейственное средство от простуды? Нет. Наверное, она просто быстро поправилась, потому что у нее был крепкий организм, а еще она обпилась малиновым напитком.
А может быть, она вообще не заболела. Просто у нее был плохой день, а на следующий ей стало лучше. Многие поставщики гомеопатических «лекарств» рассказывают о таких единичных случаях выздоровления в рекламе своих продуктов. Но они не говорят, что случилось бы без их «лечения». В конце концов даже когда вы болеете, симптомы меняются день ото дня. Требуйте более достоверных данных, например тщательно проведенного научного эксперимента, прежде чем верить заявлениям производителей лекарств.
Чтобы собирать или оценивать экспериментальные научные свидетельства, первым делом нужно определить или понять их гипотезу – предполагаемое объяснение изучаемого эффекта (например, что Snapple быстро помогает от простуды). Определив гипотезу заранее, вы избежите ошибки меткого стрелка.
В одном анекдоте человек нашел амбар, где сбоку были нарисованы мишени, а в центре каждой была дырка от пули. Человека поразила меткость стрелка, но потом он понял, что мишени нарисовали вокруг дырок уже после того, как были сделаны выстрелы.
Аналогичная идея – это движущаяся мишень, где цель эксперимента изменяют, чтобы подтвердить желаемое уже после того, как станут известны результаты.
Один из методов, который часто называют золотым стандартом планирования экспериментов, – это рандомизированный контролируемый эксперимент, в котором участников случайным образом (рандомом) делят на две группы, а затем сравнивают результаты экспериментальной группы (которая получала лечение) с результатами контрольной группы (которая его не получала). Этот подход не ограничивается лишь медициной – его можно использовать в таких сферах, как реклама и разработка продуктов (в следующем разделе мы разберем подробный пример).
Популярная версия такого экспериментального проекта называется А/В-тестирование, где поведение пользователя сравнивают относительно версии А (экспериментальная группа) и версии В (контрольная группа) сайта или продукта, которые различаются потоком страниц, формулировкой текстов, изображениями, цветом и т. д. Такие эксперименты должны быть тщательно спланированы, чтобы выделить один фактор для изучения. Проще всего, если между группами есть только одно различие.
В идеале такие эксперименты проводят вслепую, чтобы участники не знали, в какой группе они оказались, и не смогли своей предвзятостью осознанно и неосознанно повлиять на результат. Классический пример – слепая проверка вкусов, которая гарантирует, что репутация бренда не повлияет на выбор людей.
Чтобы вывести идею слепого эксперимента на следующий уровень, люди, проводящие или анализирующие его, также не знают, к какой группе принадлежат участники. Этот дополнительный слепой фактор помогает исключить влияние эффекта ожиданий наблюдателя (также он называется искажением экспериментатора), где когнитивные искажения исследователей или наблюдателей заставляют их повлиять на результат, подталкивая его в том направлении, которого они ожидают.
63
Блог и книга