Истинный байесианец не может искать свидетельства в пользу теории. Не может существовать ни чёткого плана, ни умной стратегии, ни хитрого приёма, с помощью которых можно проводить эксперименты, систематически убеждающие всех в каком-либо утверждении. Нельзя поставить эксперимент, который подтвердит теорию; эксперименты могут лишь испытывать теорию.
Осознав это, можно ощутить: дышится намного легче. Не надо мучиться, пытаясь интерпретировать каждый возможный исход эксперимента так, чтобы он подтверждал твою теорию. Не надо обдумывать, как заставить каждую йоту свидетельств подтверждать твою теорию, ведь для каждого ожидания свидетельства в пользу, существует равное и противоположно направленное ожидание свидетельства против. Можно ослабить силу укуса возможного «аномального» наблюдения, лишь ослабив поддержку от «нормального» наблюдения; сила среднего укуса всегда в точности равна силе средней поддержки. Это игра с нулевой суммой. Как бы ты ни спорил, как бы ты ни сотрудничал с Тёмной Стороной, как бы ты будущие стратегии ты бы ни вырабатывал, — ты не можешь рассчитывать, что будущее сдвинет твои взгляды в определённую сторону.
С тем же успехом ты можешь просто сесть, расслабиться, и ждать, пока твои свидетельства сами не придут к тебе.
…временами я ужасаюсь извращённости человеческой психики.
Перевод:
BT
http://lesswrong.com/lw/ii/conservation_of_expected_evidence/
Знание задним числом обесценивает науку
Элиезер Юдковский
Этот отрывок(English) из книги Дэвида Майерса «Изучаем социальную психологию», стоит того, чтобы прочитать его полностью. Каллен Мерфи, издатель журнала «Atlantic», заметил, что социальные науки не открывают ничего, что нельзя было бы «найти в цитатниках заранее… День за днем ученые-социологи выходят в мир. И день за днем они открывают, что поведение людей очень похоже на то, что они и ожидали увидеть».
Конечно же, всё это «ожидание увидеть» вытекает из эффекта знания задним числом (эффект знания задним числом: знающие ответ на вопрос люди считают его более очевидным, чем люди, пытающие угадать ответ, не зная его заранее; «разумеется, я додумался бы до этого!»).
Историк Артур Шлезингер-младший называл социологические исследования американских солдат времен второй мировой войны «нудной демонстрацией» здравого смысла. Например:
У солдат с более высоким уровнем образования возникало больше проблем с адаптацией, чем у менее образованных (интеллектуалы были менее готовы к стрессам войны, чем люди, выросшие на улицах).
Южане легче, чем северяне, переносили жару островов Южного моря (южане более привычны к жаркому климату).
Белые рядовые сильнее, чем чернокожие, стремились к продвижению по службе (годы угнетения посеяли в чернокожих желание «не высовываться»).
Чернокожие южане предпочитали белых офицеров с Юга офицерам с Севера (так как первые обладали большим опытом общения с чернокожими).
Когда война окончилась, солдаты скучали по дому не так сильно, как во время боевых действий (во время битвы солдаты знали, что находятся в смертельной опасности и могут больше не увидеть родных).
Сколько из этих наблюдений ты мог бы вывести заранее? 3 из 5? 4 из 5? Есть ли случаи, касательно которых ты предсказал бы противоположное; случаи, наносящие твоей модели мира удар? Прежде чем продолжить чтение, хорошо подумай над этим.
Все утверждения из этого списка прямо противоположны тому, что было обнаружено в действительности. Сколько раз твоя модель мира была испытана на прочность? Сколько раз ты признал, что ты бы ошибся? Теперь можно сделать вывод о том, насколько хороша твоя модель на самом деле: сила рационалиста состоит в способности удивляться вымыслу больше, чем реальности.
А ещё я мог, перепечатывая этот остроумный список за авторством Поля Лазарсфельда, перевернуть результаты ещё раз - тогда удары остаются ударами, а удачные предсказания удачными предсказаниями. Что скажешь?
Теперь ты действительно не знаешь ответа. Замечаешь ли ты, что процессы, идущие в твоей голове сейчас, чем-то отличаются от тех процессов, которые происходили там ранее? Чувствуешь ли ты, что поиск ответа ощущается по-другому, не так, как рационализация обеих сторон «известного» ответа?
Дафна Барац разделила студентов на две группы и сообщала одной результат социологического исследования (например, «Во время подъема экономики люди тратят большую часть своего дохода, чем во время спада» или «Люди, регулярно посещающие церковь, стремятся иметь больше детей, чем те, кто редко ходит в церковь»), а другой - перевёрнутый результат того же социологического исследования. Обе группы утверждали, что данный им результат они смогли бы предсказать заранее. Отличный пример эффекта знания задним числом.