Основная идея всех этих текстов состоит в том, что риск человеческого вымирания есть, что он существенно недооценивается и что пока не очень понятно, что с этим делать. Отличие современного подхода состоит в том, что если раньше исследователи в основном сосредоточивались на каком-то одном конкретном риске (чаще всего на риске вымирания в результате ядерной войны), то теперь список возможных рисков включает в себя порядка десяти основных источников, каждый из которых имеет несколько существенно различных подтипов, и опровержение какого-либо одного из них не изменяет картины в целом. (Эти источники, которые мы частично рассмотрим далее, включают в себя: искусственный интеллект, нано-оружие, биотехнологии, ядерное оружие, необратимое глобальное потепление, исчерпание ресурсов, опасные физические эксперименты, природные катастрофы, программы SETI&METI, супернаркотик и др.) Соответственно возникла потребность в метаподходе, который должен был бы помочь сопоставлять разные риски между собой, определить общие принципы, по которым человечество создает себе новые риски, наметить общие принципы вычисления их вероятности и, самое главное, минимизации этих рисков.
Важная особенность этих текстов — сдвиг в гносеологию и психологию познания. Кроме исследования самих рисков, исследователи обратились к вопросу о том, в какой мере человек и созданная им наука пригодны для анализа такого рода уникальных событий, как глобальные катастрофы, ведущие к человеческому вымиранию. Уникальность события вымирания в том, что оно никогда с нами еще не случалось. Это, естественно, исключает экспериментальную проверку гипотез о нем, и, более того, мы бы не хотели ставить таких экспериментов. Значит, метод проб и ошибок не подходит для исследования данного вопроса, и получается, что мы должны решать проблему теоретическими способами.
В итоге мы вынуждены полагаться в значительной мере на теоретические спекуляции, которые оказываются существенным образом зависимыми от человеческой психологии. Доказательством этому является разброс мнений о величине каждого из рисков — спросите себя или своих знакомых о том, возможно ли необратимое глобальное потепление, может ли человечество вымереть в результате ядерной зимы, можно ли создать искусственный интеллект, превосходящий человеческий, и опасен ли он, и вы получите разброс мнений, близкий к случайному. Это означает, что на самом деле мы не знаем наверняка об этих рисках ничего.
Поэтому менее наивный подход в анализе глобальных рисков начинается не с составления их списка, а с анализа возможных ошибок и когнитивных искажений, которые могут помешать при данном анализе. Основополагающей в этом смысле является статья Е. Юдковски «Систематические ошибки в мышлении, могущие повлиять на оценку глобальных рисков», которую я перевел на русский язык. Она выходит в оксфордском сборнике о глобальных рисках, и, надеюсь, одновременно в сборнике «Диалоги о будущем» на русском. На основании данных экспериментальной психологии, в первую очередь теории принятия решений, Юдковски показывает, насколько большие ошибки людям свойственно совершать при оценке будущего и как эти ошибки могут проявиться именно при оценке глобальных рисков. В его статье рассматриваются около 10 возможных ошибок; для своей книги я попытался составить их полный список и остановился на их числе более ста. Самый первый класс возможных ошибок — это ошибки о роли ошибок, и основная из них состоит в том, что людям свойственно преувеличивать свою безошибочность.
Иначе говоря, люди полагают, что уже обладают достаточными знаниями и навыками, чтобы, не задумываясь, давать ответ о реальности и вероятности тех или иных рисков. Корнем этого является такой широко известный психологический феномен, как сверхуверенность. Он очень ярко проявляет себя, когда надо дать оценку времени завершения какого-либо проекта. В ходе исследования группу студентов опросили на тему, сколько времени потребуется на завершение дипломной работы, если все сложится хорошо и если все сложится плохо. В результате оказалось, что большинство студентов закончило свою работу за время худшее, чем в самом худшем случае, которого они ожидали. В случае с глобальными катастрофами этот же феномен может проявиться наоборот — она может случиться раньше, чем наша самая оптимистичная реалистичная оценка. Сверхуверенность приводит к тому, что людям очень трудно сказать «я не знаю» даже в отношении вещей, которые они действительно не знают и знать не могут. Например, большинство людей имеет мнение о том, возможен или невозможен искусственный интеллект (ИИ), тогда как на самом деле никто этого знать наверняка пока не может.