Большинство людей думает, что знают точно одну вещь об исследовании: большое количество участников обеспечивает более надежные показатели. Это правда, однако количество участников не единственный значимый фактор. Польза от многочисленности в том, что при большой выборке уравновешиваются случайные колебания в спектре параметров испытуемых. Если ученый проводит небольшое исследование чрезвычайно действенного препарата для улучшения умственной концентрации в двух группах по 10 человек в каждой и если хотя бы один человек из одной группы погуляет на вечеринке за день до проведения теста на концентрацию, то его плохие показатели испортят все высокие результаты остальных участников. Если в исследовании участвует больше людей, такого рода отклонения уравновешиваются за счет большого количества проверяемых.
Стоит помнить, что иногда малое исследование может быть оправданным, так как размер группы участников зависит от множества факторов. Например, если ученый имеет дело с болезнью, вызывающей у человека смерть в течение суток, а у него есть лекарство, которое, по его словам, может излечить эту болезнь немедленно, не нужно набирать много людей, чтобы показать действенность препарата. Если же различия, которые вы пытаетесь обнаружить между двумя группами, принимающими разные средства, очень тонкие, тогда вам нужно больше участников, чтобы определить эту незначительную разницу по сравнению с естественным фоном каждодневных непредвиденных изменений в состоянии всех индивидов из вашего исследования.
Иногда можно увидеть публикации о проведении подозрительно большого числа малых исследований, организованных для проверки только одного лекарства. Когда такое происходит, резонно предположить, что это своего рода маркетинговое мероприятие, устроенное с целью публикации серии статей, а не истинные научные изыскания. Вскоревы познакомитесь с еще несколькими маркетинговыми приемами в разделе «Исследования с целью продвижения лекарства».
Во всем этом скрыта еще и очень интересная методологическая проблема. Когда вы планируете провести исследование для определения различий в показателях двух групп пациентов, принимающих различные лекарства, вы делаете так называемый расчет мощностей. С его помощью можно сказать, сколько пациентов вам понадобится для проверки, если вероятность обнаружить 20 %-ю разницу в количестве летальных исходов у пациентов из разных групп при данной ожидаемой частоте смертей у ваших участников составит 80 %. Если исследование проведено и не обнаружено никакой разницы в количестве смертей в группах пациентов, принимавших разные препараты, это значит, что вы не нашли фактов, подтверждающих преимущества одного лечения перед другим.
Это не то же самое, что показать равноценность двух разных препаратов друг другу. Если вы хотите показать, что два лечения эквивалентны, тогда по ряду сложных технических причин (мне нужно где-то провести границу) вам нужно гораздо большее число участников.
Люди об этом часто забывают. Например, исследование INSIGHT было организовано, чтобы проверить, действительно ли нифедипин лучше, чем коамилозид, при лечении высокогокровяного давления. Никаких фактов, подтверждающих это, найдено не было. В то же время в научной статье утверждалось, будто бы эти два лекарства идентичны друг другу, хотя на самом деле это было неправдой.18 Десятки врачей и ученых прислали письма с указанием на ошибку.Исследования, при которых сравниваются неинформативные результаты
Состав крови мгновенно реагирует на прием дозы лекарства, а проведение анализа крови — обычная и несложная процедура. Однако пациентов больше интересует избавление от боли и страданий, чем колонки цифр на листке из лаборатории с результатами анализа.
Мы говорили уже об этом в предыдущей главе, но нужно снова и снова повторять это, так как в наших клинических знаниях есть еще очень много пробелов — и их количество нельзя преувеличить — из-за неоправданной, слепой веры в суррогатные критерии эффективности. Было проведено множество исследований для сравнения статинов с плацебо, которые показали, что первые могут достаточно успешно использоваться для предотвращения смертельных случаев. Во время других исследований один статин сравнивался с другим, однако оценка обоих препаратов производилась на основе суррогатных критериев клинической эффективности. Никто еще никогда не сравнивал статины друг с другом по критерию, какой из них лучше спасает от смерти. Это поистине непростительный промах, принимая во внимание то, что десятки миллионов людей по всему миру принимали эти препараты на протяжении многих лет. Если даже один из них предотвращает инфаркты всего лишь на 2 % эффективнее, чем другие, то получается, каждый день сотни людей умирают зря из-за нашего незнания. А этих смертей можно было бы избежать. Десятки миллионов пациентов подвергаются ненужному риску, потому что принимают лекарства, которые не сравнивались должным образом между собой. При этом по каждому из этих пациентов можно получить ценные данные, которые могут быть использованы для формирования новых знаний о том, какое лекарство в целом лучше, при условии проведения систематических рандомизированных исследований, направленных на изучение действия препарата на основные точки клинической эффективности. Обо всем этом вы узнаете больше в следующей главе, где мы будем обсуждать потребность в проведении больших простых исследований, потому что данная проблема не относится к научным. Пациенты лишаются жизни из-за нашего некритичного принятия данных исследований, во время которых не измерялись долгосрочные или основные критерии клинической эффективности.Исследования, результаты которых сгруппированы странным способом
Иногда использование неверного способа компоновки данных для получения итогового эффекта от лечения может привести к искажению результатов. Например, просто сдвинув пороговые отметки вправо, можно превратить незначительный положительный эффект от лекарства в значимый, завышая его эффективность. А при группировке нескольких положительных свойств препарата, воздействующих на разные параметры организма, в одно для получения «совокупного результата» можно разбавить данные по вредным эффектам или сделать так, чтобы ненужные свойства лекарства, воздействующие на параметры организма, не представляющие интереса, создали впечатление, будто наблюдается улучшение по целому ряду точек клинической эффективности.
Даже если вы собираете абсолютно истинные итоговые данные по основной точке клинической эффективности лекарства, то неправильно выбранный способ, при помощи которого вы сводите эти данные в течение исследования, может исказить общую картину. Приведу сначала несколько простых примеров, как это делается, а затем несколько более сложных.
Самый грубый пример: авторы многих статей (слава богу, все это уже в прошлом) использовали метод фиксации худшего зарегистрированного значения побочных эффектов.19 Это может привести к большим искажениям данных, так как при таком методе принимается во внимание только один лишь худший побочный эффект, который наблюдался когда-либо у пациента на протяжении всего исследования, а не сумма всех значений побочных эффектов, зарегистрированных в течение всего процесса. На графиках ниже вы можете увидеть, почему это так важно. Лекарство, представленное верхним графиком, выглядит таким же хорошим, как и лекарство внизу, благодаря использованному методу учета наихудшего значения из всех побочных эффектов, хотя лекарство внизу гораздо лучше, с точки зрения тяжести побочных эффектов.
Другой способ сведения результатов, который искажает общую картину, состоит в следующем: исследователь назначает пороговый критерий эффективности, после чего можно сделать вид, будто незначительное улучшение свидетельствует о значительной пользе от применения данного лекарства, в то время как в реальности ее может не бытьвообще. Например, 10 %-е уменьшение интенсивности симптомов у больных может быть расценено как отличный результат, хотя пациенты все так же остаются немощными.20 Это в особенности искажает истинную картину, когда при лечении одним лекарством достигается значительное улучшение в состоянии пациента, при условии если средство вообще работает, а при применении другого лекарства наблюдается лишь скромный эффект, если оно работает вообще, но оба преодолевают произвольно установленный и скромный порог в 10 % в группах с одинаковым количеством пациентов: неожиданно более скромный препарат начинает казаться таким же действенным, как и лучшее лекарство в данном классе.