Возможно, что есть ряд когнитивных искажений и логических парадоксов, которые проявляются только в рассуждениях о глобальных рисках, и которые нами пока не обнаружены, но полностью меняют всю весь ход рассуждений. Точно также я не хочу сказать, что все исследователи допускают все перечисленные здесь ошибки. Наоборот, большинство этих ошибок, вероятно, самоочевидны большинству исследователей – или вообще не кажутся ошибками. Однако есть шанс, что какие-то ошибки пропущены.
Под термином «когнитивные искажения» я имею в виду здесь не только нарушения логики, но и любые интеллектуальные конструкции, которые могут оказать влияние на конечные выводы и увеличить риск глобальной катастрофы. Некоторые приведённые ошибки могут не приводить в текущих обстоятельствах к каким-либо последствиям, тем не менее, полезно их иметь в виду.
Возможные виды ошибок и когнитивных искажений разделены на следующие группы:
1. Ошибки, возможные только относительно глобальных рисков в силу их специфики.
2. Ошибки, возможные относительно оценки любых рисков, применительно к глобальным рискам.
3. Факторы, оказывающие влияние на принятие неверных решений, мгогущие проявиться в ситуациях глобального риска.
4. Общелогические ошибки, могущие проявиться в рассуждениях о глобальных рисках.
5. Специфические ошибки, возникающие в дискуссиях об опасности неконтролируемого развития искусственного интеллекта (а также специфические ошибки в рассуждениях о нано-, био- и других прорывных и опасных технологиях – в том числе в ядерных технологии и астрономии.)
2.Ошибки, возможные только относительно угроз существованию
1. Путаница относительно глобальных катастроф и просто очень больших катастроф
Есть тенденция путать глобальные катастрофы, ведущие к вымиранию человечества (обозначаемые в англоязычной литературе термином «existential risks») и любые другие колоссальные катастрофы, которые могут принести огромный ущёрб, отбросить цивилизацию далеко назад и истребить значительную часть человечества. Критерием глобальных катастроф является необратимость. В русском языке пока нет устоявшегося краткого термина для катастроф, ведущих к вымиранию человечества. (Моисеев называл их цивилизационными рисками или катастрофами.) Я называю их глобальными катастрофами. Есть ещё термин-калька – экзистенциальные риски. (Подробнее про определение глобальных катастроф и их специфику см. статью Ника Бострома «Угрозы существованию. Анализ сценариев человеческого вымирания и подобных опасностей» .) Разница между этими двумя видами катастроф – не в количестве погибших людей и испытанных ими страданий, а будущем планеты после них. Если уцелеет хоть одно племя в 100 человек, то через несколько тысяч лет на Земле опять будут государства, города и самолёты, и погибшая цивилизация будет в каком-то смысле воскрешена по древним текстам. (От древних греков остался, по некоторым оценкам, только 1 Гб информации, а влияние их на культуру оказалось огромным.)
Примером такой разницы может служить катастрофа, в которой вымирает всё человечество, и катастрофа, в котором оно вымирает всё, кроме нескольких человек, которые затем воссоздают человеческую популяцию, как ветхозаветный Ной. С точки зрения отдельного человека нет никакой зримой разницы между двумя этими катастрофами. И в том и в другом случае он погибнет почти наверняка, и всё, что для него ценно, также погибнет. Однако для человечества как целого это разница равнозначна разнице между смертью и очень тяжёлой болезнью. И эта разница также состоит в том, что болезнь может быть долгой и мучительной, и потом закончится выздоровлением, а смерть может быть лёгкой, мгновенной, но обязательно необратимой.
2. Недооценка неочевидных рисков
Глобальные риски делятся на очевидные и неочевидные. Неочевидные риски в некотором смысле гораздо опаснее, потому что неизвестен их объём, их вероятность, и в связи с ними ничего не предпринимается. Некоторые неочевидные риски известны только узкому кругу специалистов, которые высказывают диаметрально противоположные мнения в оценке их реальности и вероятности. Эти мнения могут выглядеть для стороннего наблюдателя в равной мере обоснованными, что заставляет его выбирать между мнениями экспертов, или исходя из своих личных предпочтений, или «бросая монетку». Однако неочевидные риски несут вполне реальную угрозу и до того, как научное сообщество окончательно определится с их параметрами. Это заставляет уделять внимание тем областям знаний, в отношении которых есть ещё много вопросов.
По мере роста наших знаний о природе и могущества техники, постоянно росло число известных нам причин возможного человеческого вымирания. Более того, этот рост ускоряется. Поэтому вполне разумно ожидать, что есть важнейшие риски, о которых мы ничего не знаем. И хуже из них те риски, о которых мы физически не можем ничего узнать, пока они не случатся.
Кроме того, очевидные риски гораздо удобнее анализировать. Есть огромный объём данных по демографии, военному потенциалу и запасам сырья, которые можно анализировать детально и подробно. Объём этого анализа может заслонять тот факт, что есть другие риски, о которых нам очень мало известно, и которые не годятся для анализа в численной форме, но которые тоже смертельно опасны (например, проблемы с неправильно запрограммированным ИИ).
Нетрудно заметить, что в момент развития аварийной ситуации, например, в авиации, самые страшные последствия имеет именно непонимание пилотами того, что происходит (особенно ошибки в оценке высоты и степени опасности процесса). Наоборот, когда такое понимание имеется, самолёт удаётся спасти часто в совершенно невероятных условиях. И хотя для нас апостериори причины катастрофы очевидны, для самих пилотов они были в тот момент совершено неочевидны.
3. Глобальные риски нетождественны национальной безопасности
Каждая страна тратит на национальную безопасность больше денег, чем на глобальную. Однако глобальные риски представляют большую угрозу для каждой страны, чем национальные – просто потому что если погибнет весь мир, то и страна вместе с ним. При этом часто те действия, которые увеличивают безопасность данной страны на текущем этапе, уменьшают всеобщую безопасность. Например, безопасность некой страны возрастает, - во всяком случае, по мнению её руководства - когда она накапливает запасы ядерного и бактериологического оружия, но безопасность всего мира в результате гонки вооружений падает. Или, например, проблемой РФ является депопуляция, а для всего мира – перенаселение (равно как и для Москвы). Ещё пример: один американский фонд реализует проект по предотвращению глобальных рисков и террористических атак на Америку. Но для нас понятно, что первое и второе – не одно и тоже.
4. Ошибка, связанная с психологизацией проблемы
Издавна существует стереотип сторонника «конца света», толкователя апокалипсиса, – как отверженного обществом индивида, пытающегося своими нелепыми высказываниями повысить свою социальную значимость и компенсировать, таким образом, свои неудачи в финансах и личной жизни. Вне зависимости от истинности или ложности такой интерпретации психологических мотивов людей, это не влияет на степень рисков. Только точные вычисления могут определить реальный вес риска. Психологические исследования показали, что люди в состоянии депрессии дают более точные предсказания о будущих событиях, чем обычные люди, если это не касается их собственной жизни.
5. Отождествление глобальной катастрофы со смертью всех людей и наоборот
Вымирание человечества не означает гибели всех людей, и наоборот. Легко можно представить себе сценарии, когда большая часть человечества гибнет от некой эпидемии, но один остров уцелеет и за 200 лет восстановит человеческую популяцию. Однако если все люди заболеют вирусом, переводящим мозг в состояние непрерывного созерцательного блаженства, то это будет означать конец цивилизации, хотя огромное большинство людей будет некоторое время ещё живо. Или если – в некоем фантастическом сценарии – инопланетяне завоюют Землю и распродадут людей по космическим зоопаркам. Более того, все живущие в настоящий момент люди, если не будет изобретено радикальное средство продления жизни, вымрут к началу XXII века, равно как сейчас вымерли люди, жившие в XIX веке. Но мы не рассматриваем это как глобальную катастрофу, потому что сохраняется непрерывность человеческого рода. Настоящая же глобальная катастрофа лишит нас будущего.