17. Недооценка собственной ошибочности
Я ничего не могу знать на 100 процентов, потому что надёжность моего мозга не равна 100 процентам. Я могу проверить свою надёжность, решив серию логических задач средний сложности, и затем посчитав количество ошибок. Однако обычно этого не делается, и собственная ошибочность оценивается интуитивно, то есть в сторону занижения.
18. Ошибка, связанная с представлением о том, что каждое событие имеет одну причину
В действительности:
а) есть совершенно случайные события.
б) каждое событие имеет много причин (стакан упал, потому что его поставили с краю, потому что он сделан из стекла, потому что сила тяготения велика, потому что пол твёрдый, потому что кошка непослушная, потому что это рано или поздно должно было случиться).
в) каждая причина имеет свою причину, в результате чего мы имеем расходящееся в прошлое древо причин. Человеческий ум неспособен целиком это древо причин охватить и вынужден упрощать. Но понятие «причина» необходимо в обществе, потому что связано с виной, наказанием и свободой воли. То есть здесь под «причинной» имеется в виду принятие свободным вменяемым человеком решения о совершении преступления. Нет нужды говорить о том, сколько здесь неочевидных моментов. (Основной вопрос: Кто виноват?)
И в конструировании техники: где важно найти причину аварии. То есть то, что можно устранить – так чтобы аварий такого рода больше не было. (Основной вопрос: Что делать?)
Понятие причина менее всего применимо к анализу сложных уникальных явлений, таких как человеческое поведение и история. Пример тому – масса запутанных дискуссий о причинах тех или иных исторических событий. Именно поэтому рассуждения в роде «причиной глобальной катастрофы будет Х» – мягко говоря, несовершенны.
19. Ошибка, связанная с сознательным и бессознательным нежеланием людей признать свою вину и масштаб катастрофы
И вытекающие из этого неправильное информирование начальства о ситуации. Сознательное – когда, например, военные скрывают некую аварию, чтобы их не наказали, желая справится своими силами. Когда люди не вызывают пожарных, сами туша пожар до тех пор, пока он не становится слишком обширным. Бессознательная – когда люди верят в то описание, которое уменьшает масштаб аварии и их вину. В Чернобыле организатор испытаний Дятлов верил, что взорвался не реактор, а бак с водой охлаждения – и продолжал подавать команды на несуществующий реактор. Вероятно, такое нежелание может действовать и вперёд во времени, заставляя людей не принимать на себя ответственность за будущие глобальные катастрофы.
20. Необходимость выбора актом веры
Если руководитель получает несколько противоречащих друг другу заключений о безопасности, то он делает выбор между ними, просто веря в одно из них – по причинам, не связанным с самой логикой. Здесь также можно вспомнить термин «экзистенциальный выбор», когда человек должен сделать выбор в неформализуемой ситуации. Например, между любовью и долгом.
21. Эффект первой и последней прочитанной книги
Порядок поступления информации влияет на её оценку, причём выделены первый и последний источник. Это одна из форм ошибочности, связанной с доступностью информации, о которой пишет Юдковски.
22. Преувеличение роли компьютерного моделирования
Наиболее две проработанные модели – метеорология и атомные взрывы. Обе составлены на огромном фактическом материале, с учётом сотен испытаний, которые вносили поправки к прогнозам, и обе регулярно давали ошибки. Даже самая точная модель остаётся моделью. Поэтому мы не можем сильно полагаться на компьютерное моделирование уникальных событий, к каковым относится глобальная катастрофа.
23. Доказательство по аналогии как источник возможных ошибок
Дело не только в том, что не может быть аналогий уникальному событию, которое ещё никогда не случалось – необратимой глобальной катастрофе, но и в том, что мы не знаем, как проводить такие аналогии. В любом случае, аналогии могут только иллюстрировать. Вероятно, полезно принимать аналогии, когда они говорят о реальности некой угрозы, но не когда – о безопасности.
24. Ошибка, связанная с неточностью экстраполяции экспоненциальной вероятностной функции с помощью линейной
Вероятностную функцию гибели цивилизации – если считать это процесс гладким в смысле вероятности, что, конечно, неверно – можно уподобить функции распада радиоактивного атома, которая, как известно, описывается экспонентой. Например, если вероятность гибели цивилизации в течение XXI века равна 50 процентам, как это предполагает сэр Мартин Рис в книге «Наш последний час», то через 200 лет шанс выживания цивилизации будет 25 процентов, а через тысячу лет – только 0,1 процента – при равномерном сохранении тех же тенденций. Отсюда видно, что неверно заключать, что раз выживание в течение тысячелетия составляет 0,1 процента, то для одного столетия оно будет в только десять раз больше, то есть 1 процент. Эта же ошибка в менее явном виде возникает, если нам нужно экстраполировать эти же 50 процентов выживания в течение 100 лет на погодовую вероятность гибели. Линейная аппроксимация дала бы 0,5 процента на год. Однако точное значение равно 1- 2 и составляет примерно 0,7 процента, то есть в 1,4 раза выше, чем даёт интуитивная линейная аппроксимация. (Ещё раз мы к этому вопросу вернёмся далее, в главе о вероятностной оценке глобальных рисков.)
25. Санкт-Петербургский парадокс
Позволю себе здесь обширную цитату из книги Г.Малинецкого «Риск. Устойчивое развитие. Синергетика»: «Рождение субъективного подхода относится к работам Г. Крамера и Д. Бернулли, выполненным в первой половине XVIII века. Они связаны с объяснением так называемого Санкт-Петербургского парадокса. Рассмотрим следующую игру. Подбрасывается монета до тех пор, пока в первый раз не выпадет орел. Если потребовалось n бросков, то выигрыш составит 2n единиц. То есть выигрыши 2,4,8,…2n будут происходить с вероятностью 1/2,1/4,1/8,…1/2n. Ожидаемый выигрыш в этой игре бесконечен:
. (1)
Спрашивается, сколько человек готов заплатить за право войти в такую игру. Парадокс состоит в том, что большинство людей готово заплатить за это право не более 100, а иногда и 20 единиц.
Бернулли предположил, что люди максимизируют не денежный выигрыш (чему соответствует формула (1), а ожидаемую полезность. Предложенная им функция полезности U(x) имеет вид логарифмической кривой:
. (2)
То есть, с ростом выигрыша полезность равных приращений падает.
Парадокс можно сформулировать и иным образом, имеющим непосредственное отношение к техногенному риску. Допустим, что мы располагаем экономически выгодной (если не учитывать ее влияния на среду обитания) технологией. Ликвидация последствий ее применения может обойтись в 2n единиц с вероятностью 1/2n. То есть математическое ожидание ущерба здесь также бесконечно. Сколько общество готово заплатить за то, чтобы отказаться от такой технологии? Какова должна быть разумная стратегия в том случае, если такая технология уже используется? В ряде случаев действия мирового сообщества парадоксальны – затраты на отказ от технологий, грозящих неприемлемым ущербом, оказываются, как и в Санкт-Петербургском парадоксе, весьма невелики».
Этот парадокс имеет прямой отношение к глобальным катастрофам, так как их возможный ущерб бесконечен. Следовательно, мы должны были бы соглашаться на любые действия, которые позволяют её избежать (см. принцип Максипок по Бострому).
26. Различие между опасностью и риском
Риск создаётся принимаемыми решениями, а опасности – обстоятельствами. Поскольку основным источником риска глобальных катастроф являются новые технологии, то именно решения о их развитии и применении определяют его. Однако если технологии развиваются стихийно и неосознанно, то они становятся подобны природным опасностям.
27. Систематическая ошибка, связанная с эгоцентричностью
Она состоит в том, что люди приписывают себе большее влияние на результаты коллективных действий, чем на самом деле. Иногда люди преувеличивают негативное влияние (мегаломания). По мнению Майкла Анисимова, по этой причине люди преувеличивают значение собственной смерти и недооценивают смерть всей цивилизации .