e. Аргумент Картера-Лесли. Важным условием аргумента Картера-Лесли (в его интерпретации Бостромом) является несуществование других цивилизаций, помимо земной. Кроме того, очень трудно придумать реальный эксперимент, в котором можно было бы проверить силу этого рассуждения. А мысленные эксперименты работают с определёнными натяжками.
f. Парадокс Ферми находится тоже внизу этой таблицы, поскольку рассуждение о симуляции очевидным образом отменяет его значение: в симуляции плотность цивилизаций может быть любой, равно как и риск их агрессии, в зависимости от прихоти владельцев симуляции.
Всё сказанное здесь о непрямых способах оценки находится на грани между доказуемым и гипотетическим. Поэтому я предлагаю не принимать на веру сделанные выводу, но и не отбрасывать их. К сожалению, исследования непрямых способов оценки вероятности глобальной катастрофы могут пролить свет на наше ожидаемое будущее, но не дают ключей к его изменению.
9. Заключение
Наиболее вероятный сценарий глобальной катастрофы
Теперь мы можем попытаться обобщить все собранные данные, обрисовав наиболее вероятный сценарий глобальной катастрофы. Речь идёт не об объективной оценке реальных вероятностей, которые мы можем вычислить только относительно падения астероидов, а о субъективной оценке, то есть «best guess» – наилучшей догадке. Очевидно, что такая оценка будет окрашена личными предпочтениями автора, поэтому я не буду выдавать её за объективную точно вычисленную вероятность. В зависимости от того, какая будет появляться новая информация, я буду корректировать свою оценку.
В этой оценке я учитываю как вероятность самих событий, так и их близость к нам по времени. Поэтому я приписываю малые вероятности нанотехнологической серой слизи, которая, хотя и возможна технически, но затмевается более ранними рисками, связанными с биотехнологиями. Точно также создание ядерного оружия судного дня тоже требует многих лет и экономически нецелесообразно, поскольку ущерб такого масштаба дешевле и быстрее будет нанести с помощью биологического оружия.
Эти предположения сделаны относительно предлагаемых угроз даже с учётом того, что люди будут стараться им противостоять настолько, насколько это могут. Итак, я вижу два наиболее вероятных сценария глобальной окончательной катастрофы в XXI веке, ведущей к полному человеческому вымиранию:
1) Внезапный сценарий, связанный с неограниченным ростом искусственного интеллекта, который имеет недружественные к человеку цели.
2) Системный сценарий, в котором ведущую роль играет биологической оружие и прочие продукты биотехнологий, но также будет применяться ядерное оружие и микророботы. Также будут играть свою роль распространение сверхнаркотиков, загрязнение среды, исчерпание ресурсов. Суть этого сценария в том, что не будет какого-то одного уничтожающего людей фактора, а будет вал множества факторов, превосходящий все возможности по выживанию.
Наиболее вероятное время действия обоих сценариев – 2020-2040 годы. Иначе говоря, я полагаю, что если уж эти сценарии реализуются, то с шансами более 50 % они произойдут в указанный промежуток времени. Эта оценка происходит из того, что, исходя из текущих тенденций, вряд ли обе технологии созреют до 2020 года или после 2040 года.
Теперь просуммируем все возможные сценарии с учётом их взаимного влияния так, чтобы сумма была равна 100% (при этом следует рассматривать эти цифры как мою предварительную оценку с точностью до порядка). Оценим общую вероятность человеческого вымирания в XXI веке, в соответствии со словами сэра Мартина Риса, в 50%. Тогда кажутся убедительными следующие оценки вероятности вымирания:
• 15% - недружественный ИИ или борьба разных ИИ уничтожает людей. Я приписываю ИИ такую высокую вероятность, потому что именно ИИ обладает способностью отыскать и воздействовать на всех людей без исключения – в большей мере, чем другие факторы.
• 15% - системный кризис с многократным применением биологического и ядерного оружия.
• 14% - нечто неизвестное.
• 1% - неудержимое глобальное потепление и другие варианты природных катастроф, вызванных деятельностью человека.
• 0,1% – естественные природные катастрофы,
• 0,9% – неудачные физические эксперименты
• 1% - серая слизь – нанотехнологическая катастрофа
• 1% - атака через SETI
• 1% - ядерное оружие судного дня
• 1% - прочие.
Вторые 50% приходятся на шансы того, что в XXI веке люди не вымрут. Они видятся состоящими из:
• 15% – Позитивная технологическая сингулярность. Переход на новый этап эволюционного развития.
• 10% – Негативная сингулярность, в ходе которой люди выживают, но утрачивают значение. Варианты: выжившие в бункере, зоопарк, безработные у телевизора. Власть переходит к ИИ и машинам.
• 5% – Sustainable development – человеческая цивилизация развивается без скачков в технологиях и без катастроф. Это предлагается в качестве наилучшего варианта традиционными футурологами.
• 20% – Откат на стадию постапоклиптического мира. Разные уровни деградации.
Теперь рассмотрим возможное влияние на эти цифры разных форм теоремы о конце света. Формула Готта, взятая в отношении всего числа людей на Земле, даёт не очень большие шансы вымирания в XXI веке – на уровне десяти процентов, однако значительно ограничивает шансы человечества прожить следующее тысячелетие или больший срок. Однако если применить формулу Готта к моему рангу в множестве всех людей, которые знают о формуле Готта, то шансы выживания в XXI веке оказываются призрачными (если отождествлять завершение этого множества и человеческое вымирание). Вопрос о том, в какой мере мы имеем право использовать формулу Готта таким образом, остаётся открытым. Рассуждение Картера-Лесли не даёт прямой оценки вероятности, а только модифицирует априорную оценку. Однако вклад этой модификации может быть столь значителен, что конкретная величина априорной оценки вероятности становится не важна. Например, Дж. Лесли приводит следующий пример применения рассуждения Картера-Лесли в своей книге: априорную вероятность вымирания в ближайшее время в 1%, и разрыв между численностью человечества при «плохом» и при «хорошем» сценарии в тысячу раз. Тогда эти априорные 1% превращаются у него через формулу Байеса в апостериорные 50%. Однако если мы применим те же предположения к нашей априорной вероятности в 50%, то получим шансы вымирания в 99,9%.
Наконец, третий вариант теоремы о конце света в формулировке Бострома-Тегмарка, адаптированной мной к менее масштабным природным процессам, не оказывает существенного влияния на вероятность природных катастроф в XXI веке, так как ограничивает степень недооценки их частоты одним порядком, что всё равно даёт шанс меньше 0,1%. Наихудшим (но совершенно не обязательным) проявлением эффекта наблюдательной селекции была бы недооценка вероятности глобальной ядерной войны, которая бы снизила максимальную частоту этого события от одного события раз в несколько десятков лет, до одного события раз в несколько лет. Всё же верхняя граница – это ещё не само значение, так что здесь всё не так плохо.
Итак, непрямые способы оценки вероятности глобальной катастрофы или подтверждают оценку порядка 50% в XXI веке, или резко увеличивают её до 99% ¬– однако те варианты рассуждений, в которых она подскакивает, не обладают столько же высокой – 99% – степенью доказанности. Поэтому мы можем остановиться на суммарной оценке в «более, чем 50%».
Гораздо проще придумывать сценарии глобальной катастрофы, чем способы её избегания. Это наводит на мысль, что вероятность глобальной катастрофы весьма велика. При этом все описанные сценарии могут реализоваться в XXI веке. Ник Бостром оценивает вероятность глобальной катастрофы как «не менее 25 процентов». Сэр Мартин Рис – в 30 процентов (на 500 ближайших лет). По моему субъективному мнению, она больше 50 процентов. При этом её погодовая вероятность больше 1 процента и растёт. Пик этого роста придётся на первую половину XXI века. Следовательно, очень многое зависит от нас сейчас.
Вместе с тем предсказать конкретный сценарий в настоящий момент нереально, так как это зависит от множества неизвестных и случайных факторов. Однако растёт число публикаций на темы глобальных катастроф, составляются досье по рискам, через несколько лет эти идеи начнут проникать и в органы власти всех стран. (РФ объявила программу по развитию нанотехнологий. Значит, уже видно их оборонное значение и понятна возможность создания «серой слизи».) Понимание серьёзности рисков должно сплоить всех людей на переходный период, чтобы они могли объединиться перед лицом общей угрозы.