Примерно то же происходит и с научными изысканиями. Ученые часто исследуют большие выборки людей непродолжительное время, но полученные таким образом результаты далеко не всегда можно транслировать на себя самого (один человек и продолжительное время). Другими словами, если я напою 100 человек кофе и измерю прирост их продуктивности, я получу, скорее всего, не такой результат, как если бы я сам пил кофе 100 дней и усреднял свой прирост производительности. Именно поэтому научные работы могут быть полезными для учителя (имеющего дело со множеством людей), но они не настолько полезны для ученика (желающего изучить и улучшить одного себя).
Рис. 29. Эргодичность
Из-за отсутствия эргодичности и из-за того, что мы очень сильно отличаемся друг от друга, бывает опасно обобщать свой успешный опыт многих месяцев жизни или опыт каких-то известных личностей на других людей (подробнее об этом еще будет в разделе 4.7). У Андрея Ломачинского есть довольно чернушная история, очень хорошо иллюстрирующая последствия неаккуратного переноса своего опыта на других людей. Называется «Метанол на опохмел» [25]. Но предупреждаю: книга в общем и этот рассказ в частности — не для впечатлительных!
Например, рассмотрим некоторое гипотетическое исследование некой гипотетической методики для повышения личной эффективности. Предположим, что кто-то провел исследования и утверждает, что эта методика дает прирост производительности в среднем на 16%. Тут стоит заметить, что «на данный момент не существует универсально принятого метода измерения производительности работников умственного труда или даже общего понимания его категорий» (это дословная цитата из исследования Нембарда и Рамиреса, где описаны два с лишним десятка различных подходов к измерению умственного труда с анализом ограниченной области применимости каждого из них [34]). Тем не менее на минуту предположим, что авторы этого исследования смогли операционализировать и сделать измеримым это понятие хотя бы в каком-то приближении, пригодном для их собственных целей. Главное не в этом, а в том, что, скорее всего, это среднее было получено путем усреднения по группе испытуемых и, соответственно, ничего не говорит о том, как менялась производительность отдельно взятых людей с течением времени. Еще один момент, который упускается в научно-популярных публикациях, — указание среднего без указания дисперсии (или среднего отклонения, более удачной меры разброса). Мой любимый пример (наверняка редактор вырежет): «У среднего человека одно яйцо и одна сиська». Яркий пример, когда дисперсия результата сравнима со средним значением.
В нашем примере среднее повышение производительности на 16% может быть достигнуто при условии, что в группе из 25 человек один повысил свою производительность в четыре раза, а у остальных не поменялось ровным счетом ничего. Или у пятерых испытуемых производительность повысилась на 240%, а у остальных снизилась на 40%. А может, у четверых эффективность повысилась на 625%, а все остальные вообще умерли, и теперь их производительность равна нулю. Это все так же будет означать повышение «в среднем на 16%».
Результаты исследований (и то не все и не всегда) могут дать намек, куда копать и что попробовать в первую очередь. Но относиться к их итогам как к предсказанию своих результатов не стоит. Чтобы понять, какой результат вы получите в своих условиях, надо взять и попробовать.
Нассим Талеб в «Рискуя собственной шкурой» [26] в главе, посвященной «интеллектуальным идиотам», более жестко высказывается о пользе научной работы: «Психологические исследования воспроизводятся с вероятностью менее 40% (если Талеб имел в виду исследование Джона Боханнона, то 39% [29]), клинические испытания повторяют результаты менее чем в одном случае из трех, экономические модели проигрывают астрологии в точности предсказаний и вообще надежнее следовать знаниям, доставшимся нам от наших бабушек».
В пику научным работам у Нассима Талеба есть еще одна статья [30], где он показывает, что пресловутый уровень статистической значимости (вероятность того, что найденная в эксперименте связь оказалась случайностью) из-за фундаментальных математических причин завышен, как правило, на один-два порядка[23]. И если во многих работах по экспериментальной психологии уровень статистической значимости 5% считается вполне приемлемым, с учетом поправки Талеба истинная значимость может превышать 50%, что вполне объясняет низкий уровень воспроизводимости экспериментов. К слову, из-за низкой воспроизводимости экспериментов, особенно в психологии, можно поставить под вопрос вообще всю парадигму экспериментальной науки, основанной на уровнях статистической значимости. Для тех, кому интересно, есть очень доходчивая (относительно, разумеется) статья из разряда «со звездочкой» о превосходстве Байесовской парадигмы над общепринятыми p-уровнями [31]. Если вы не готовы знакомиться с этой статьей (а при первом прочтении этой книги и не стоит), то я просто сообщу: в научном сообществе пока нет уверенности, что существующий подход к исследованиям защищен от одурачивания случайностью и ложных выводов. Точнее, не так… Ученые уверены, что текущие методы исследования дырявые и могут (при определенных условиях) знатно дурачить нас. Мы часто и очень сильно переоцениваем результаты, которые способна дать современная наука. Как минимум психология, социология и иже с ними.
23
Осторожно! Тут уже настоящая наука, и без математической подготовки эту статью не осилить.