Из «Двенадцати добродетелей рациональности»:
Как можно улучшить свое представление о рациональности? Явно не за счёт напевания мантры «мой долг — быть рациональным»; так можно лишь закрепить ошибочное представление. Возможно, твоё понимание рациональности состоит в том, что нужно верить словам Великого Учителя; Учитель говорит: «Небо зелёного цвета», ты поднимаешь глаза и видишь, что оно голубое. Если мысль «Можно подумать, что небо голубое, но суть рациональности состоит в доверии словам Великого Учителя» промелькнёт в твоём мозгу, то ты потеряешь шанс обнаружить свою ошибку.
Не спрашивай, как советует поступить Учение; вместо этого спрашивай, какого цвета небо. Чрезмерно говорящий об Учении не достигнет просветления.
Можно попытаться назвать самый главный принцип: например, «карта, отражающая местность» или «опыт успеха и поражений», или «байесианская теория принятия решений». Но ты мог ошибиться в описании безымянной добродетели. Как ты обнаружишь свой промах? Не благодаря тому, что ты сравнишь описание с самим собой, но благодаря тому, что ты сравнишь описанное с неописанным.
Споры о том, какое значение вкладывать в слово, — даже в такое важное слово, как «рациональность», — бессмысленны. Привязка последовательности букв к определённым понятиям нужно для того, чтобы позволить людям обмениваться информацией(English); для того, чтобы помочь перенести мысли из одного разума в другой. Манипулирование этими привязками не может изменить мир.
Если ты понимаешь, примерно в каком направлении мы показываем, говоря о «рациональности», «эпистемической рациональности» и «инструментальной рациональности», то обмен информацией между нами уже произошёл. Нельзя достичь большего, оставаясь в рамках спора об определениях. Пришло время говорить не о том, какое понятие лучше всего привязать к набору слогов «ра-ци-о-наль-ность», а о том, каким образом стоит думать.
С учётом всего этого, имей в виду, что многие из нас будут считать спорным — как минимум — любое ненормативное толкование слова «рациональность».
Например, говорящий «убеждение X рационально, но убеждение Y правдиво», скорее всего, использует слово «рационально» в не совсем принятом здесь смысле (например, считается, что рациональность должна быть логически последовательна при переходе к рефлексии: т.е. «рациональный» взгляд на информацию и «рациональное» моделирование того, как твой разум «рационально» обрабатывает эту информацию, не должны вести к двум разным выводам). Аналогично с «рационально сделать X, но правильно сделать Y» — «рационально» или «правильно» сказавшего это человека почти наверняка не «рационально» или «правильно» большей части читателей.
В таких случаях — да и в любых других случаях, когда слова можно понять превратно, — рекомендуется говорить более конкретно: «Предельно эгоистичный поступок — убежать, но я хотя бы попытался стащить девочку с рельс» или «Причинная теория принятия решений говорит, что в задаче Ньюкома нужно выбрать оба ящика, но я лучше заберу миллион долларов».
Как правило, фраза «X рационально» означает то же, что «я думаю, что X правдиво» или «я думаю, что X хорошо», но просто звучит чуточку более вычурно. Зачем нужны отдельное слово «рациональность», когда есть «правдивость» и «хорошесть»? Потому что так легче говорить о методичных техниках добычи правды и выигрывания.
В слове «рациональность» хватает подводных камней, но есть куча неграничных случаев, в которых это слово отлично выполняет свою коммуникативную функцию; в таких ситуациях не бойтесь его использовать.
Но всё же не стоит злоупотреблять этим словом. Нельзя заработать очки, просто громко произнеся его вслух. Чрезмерно говорящий об Учении не достигнет просветления.
Мне сегодня рационально
Элиезер Юдковский
Есть распространённое мнение, что рациональность противостоит эмоциям: все оттенки грусти и все оттенки радости автоматически нелогичны лишь потому, что это всего лишь чувства. Что удивительно, я не нашел ни одной теоремы в теории вероятностей, которая бы доказывала, что я должен быть холодным и бесчувственным.