* * *
ЗНАЧИМЫЕ И ВАЖНЫЕ РАЗЛИЧИЯ
При сравнительном анализе самое главное — определить, являются ли наблюдаемые различия значимыми или нет. Именно в этом заключается цель всех статистических тестов. Может показаться, что это противоречит здравому смыслу, но если различия являются значимыми, то это не означает, что они важные.
Различия называются значимыми, когда считается, что они не являются случайными, и два рассматриваемых способа лечения действительно дают разные результаты. Однако мы можем быть уверены, что они действительно дают разные результаты, даже если эта разница будет незаметна на практике.
Например, эксперимент может показать, что один клей приклеивает лучше другого, но разница между ними практически незаметна. Может случиться, что из-за недостаточного объема данных или значительной вариации результатов различия будут очень большими, но при этом они будут вызваны случайными факторами. Иными словами, в таком случае нельзя сказать, что один клей действительно лучше другого.
* * *
Чтобы этого не произошло, подобные исследования проводятся так, чтобы ни пациент, ни врач не знали, кто принимает настоящее лекарство, а кто — плацебо. Именно поэтому этот метод называется двойным слепым методом. Однако и при формировании контрольной группы, получающей плацебо, также присутствуют определенные трудности. Одна из их — сложность организации эксперимента. В случае с вакциной Солка требовалось приготовить инъекции с вакциной, идентичные тем, что содержали только соляной раствор. Далее их нужно было пронумеровать и проконтролировать, инъекцию какого типа получает пациент. При этом ни персонал, вводивший инъекцию, ни лечащий врач не должны были знать, какой именно препарат вводится пациенту.
Еще одна проблема лежит в области этики. Некоторые полагали, что неразумно вводить детям соляной раствор вместо вакцины, которая, как считалось, была достаточно эффективной. В качестве альтернативы было предложено вводить вакцину детям, которые учились во втором классе, а учеников первого и третьего класса использовать в качестве контрольной группы. В этом случае нарушался основной принцип двойного слепого метода, однако примерно в половине штатов, где проводился эксперимент, был использован именно этот способ. В остальных штатах контрольные группы получали плацебо.
Необходимость в выборке очень большого размера
Доля заболевших составляла всего 50 человек на 100 000. Ожидалось, что применение вакцины позволит сократить число заболевших вдвое. Очевидно, что проведение экспериментов с малыми группами было невозможным. Если бы, например, мы ввели вакцину 1000 детей, а еще 1000 использовали в качестве контрольной группы, то, скорее всего, ни в одной группе не было бы ни одного заболевшего и эксперимент не имел бы смысла. Если бы численность каждой группы составляла 10 000 человек, могло случиться так, что в контрольной группе заболели 5 человек, в группе получивших вакцину — 2 человека. Эта разница столь мала, что ее можно назвать случайной (отвергнуть нулевую гипотезу о том, что доля заболевших в каждой группе одинакова, в этом случае нельзя). Было необходимо, чтобы численность групп составляла несколько сотен тысяч человек, чтобы результаты можно было считать достоверными. Требовался крупномасштабный эксперимент.
Результаты
Эффективность вакцины полностью подтвердилась. В вакцинированной группе число заболевших было в два с лишним раза меньше, чем в группе, которой вводилось плацебо. Использованное в эксперименте p-значение имело порядок 10-9. Иными словами, вероятность того, что число заболевших в обеих группах случайно оказалось бы одинаковым, равнялась 1 на миллиард.
Результаты в тех регионах, где в качестве контрольных групп использовались школьники старших и младших классов, оказались аналогичными. Все были довольны тем, как был проведен эксперимент, ведь результаты оказались даже лучше, чем ожидалось. Число заболевших среди вакцинированных оказалось заметно меньше, но если бы в эксперименте не использовалась контрольная группа, которой вводилось плацебо, эксперимент не помог бы окончательно развеять все сомнения, а его результаты можно было бы трактовать по-разному.