И, наконец, важно помнить о том, что, еще до того как будут оценены окончательные данные по каждому вокселу, исследователи должны задействовать статистические методы, чтобы выделить значимые сигналы из шума. Именно в этом месте, по выражению эксперта по нейровизуализации Хэла Пэшлера, этот «адски сложный [процесс] создает огромную возможность для невольного прегрешения». Конечно, не намеренного. Отчасти эта проблема вызвана тем, что методы статистического анализа постоянно развиваются и могут различаться в разных лабораториях. Такой недостаток стандартизации мешает сотрудничать с другими лабораториями, воспроизводить работы других исследователей и брать их данные за основу для дальнейших исследований (31).
Еще одна дополнительная погрешность связана со статистическими ошибками, а не с самим процессом нейровизуализации. Когда исследователи проводят одновременно большое число статистических сравнений BOLD-сигнала, некоторые из этих тестов неизбежно становятся «статистически значимыми» просто по случайности. Другими словами, эти результаты по ошибке будут свидетельствовать, что какая-то часть мозга была более активна в процессе выполнения испытуемым задания, тогда как на самом деле она задействована не была.
Чтобы как можно более наглядно это продемонстрировать, нейробиолог Крэйг Беннетт решил показать, как нейровизуализация может довести до рыбацких баек в буквальном смысле слова. Беннетт и его коллеги купили в магазине мертвого атлантического лосося, положили этого покладистого испытуемого в томограф, «предъявили» ему фотографии людей в различных социальных ситуациях и «попросили» лосося догадаться, что чувствуют эти люди. Команда Беннетта обнаружила то, что искала: крошечная область мозга лосося вспыхнула к жизни в ответ на задание. Конечно, этот островок «мозговой активности» был всего лишь статистической погрешностью. Беннетт и его коллеги намеренно осуществили на компьютере большое количество вычитаний, чтобы чистая случайность привела к тому, что несколько результатов станут статистически значимыми, несмотря на свою полную фиктивность (32). Лососевое «исследование», получившее в 2012 году Шнобелевскую премию[27] «за достижения, которые заставляют сначала засмеяться, а потом — задуматься», проиллюстрировало, насколько существенно выбор метода анализа данных может повлиять на надежность результатов фМРТ.
Даже когда в какой-то «горячей точке» обнаружена активность мозга, не всегда понятно, что именно там происходит.
Довольно легко сделать стандартные статистические поправки для избежания ложноположительных результатов. Но существует и множество других ловушек. В «разорвавшемся бомбой» докладе — как окрестил его коллега-нейробиолог — аспирант Массачусетского технологического института Эдуард Вул пришел к выводу, что что-то в корне неверно в том, как многие исследователи подходят к анализу своих данных по нейровизуализации (33). Подозрения у Вула возникли, когда он столкнулся с тем, что он назвал «невозможно высокой» оценкой взаимосвязей между психическими свойствами или состояниями испытуемых и активностью различных областей мозга. Вул скептически относился, например, к исследованию 2005 года, претендовавшему на обнаружение практически идеального показателя корреляции 0,96 (при максимуме 1,0) между предрасположенностью к тревожной реакции на агрессивную речь и активностью в правом клине[28] — области в задних отделах мозга, которая, предположительно, задействована в контроле спонтанных влечений. Другая невероятная находка была совершена в исследовании 2006 года, где сообщалось об обнаружении показателя корреляции 0,88 между сообщениями испытуемых о подозрении в отношении эмоциональной измены партнера и активацией островка.
Обдумывая исходные сообщения, Вул и его соратник Хэл Пэшлер осознали, что исследователи делали выводы на основании тенденциозной подборки результатов. Если ученые искали корреляцию между стимулом и активацией мозга, они часто сначала широким взглядом охватывали все данные. Это вело их сперва к маленьким зонам с наиболее высокой активацией. И уже внутри этих небольших областей они рассчитывали корреляции между исследуемым психическим состоянием и активностью мозга. Тем самым исследователи непроизвольно преувеличивали значимость встречавшихся в их данных случайных отклонений, которые едва ли будут воспроизведены в последующих исследованиях (34).
Многие аспекты критики Вула носят технический характер, но основную идею понять нетрудно: если вы просматриваете огромный объем данных (в данном случае десятки тысяч вокселов) в поисках статистически значимых связей, а затем подвергаете анализу только эти связи, вы практически гарантированно найдете что-нибудь «подходящее». Чтобы избежать этой ошибки, повторный анализ должен быть по-настоящему независимым от первичного. Эта ошибка известна под разными названиями: «круговой», или «циркулярный», анализ, нарушение предположения о независимости данных или, более просторечно, «двойная продажа».
27
Английское