• Если внеземные цивилизации есть, и их много, то это опасно, потому что они могут нам так или иначе угрожать.
• Если же внеземных цивилизаций нет, то это тоже плохо, так как придаёт вес гипотезе о неизбежности вымирания технологических цивилизаций.
Теоретически возможен обратный вариант, который состоит в том, что по SETI придёт полезное сообщение с предупреждением о некой угрозе, которая губит большинство цивилизаций, например: «Не делайте никаких экспериментов с Х-частицами, это может привести к взрыву, который разрушит планету». Но даже и в этом случае останутся сомнения, не обман ли это, чтобы лишить нас неких технологий. (Подтверждением было бы, если бы аналогичные сообщения приходили бы от других цивилизаций, расположенных в космосе в противоположном направлении.) И, возможно, такое сообщение только усилит соблазн экспериментировать с Х-частицами.
Поэтому я не призываю отказаться от поисков SETI, тем более что такие призывы бесполезны. Возможно, было бы полезно отложить любые технические реализации посланий, которые мы могли бы получить по SETI, до того момента, когда у нас будет свой искусственный интеллект. До этого момента, возможно, осталось 10-30 лет, то есть можно потерпеть. Во-вторых, важно было бы скрывать факт получения опасного SETI сигнала, его суть и месторасположения источника.
С этим риском связан интересный методологический аспект. Несмотря на то, что я уже давно размышляю и читаю на темы глобальных рисков, я обнаружил эту опасную уязвимость в SETI только через год после начала исследований. Задним числом я смог найти ещё примерно четырёх человек, которые приходили к подобным выводам. Однако для себя я сделал важный вывод: вероятно, есть ещё не открытые глобальные риски, и даже если составные части некого риска по отдельности мне лично известны, то, чтобы соединить их, может потребоваться длительное время.
2.11. Риски, связанные с размыванием границ между человеческим и нечеловеческим
Мощные процессы генетической модификации людей, протезирования всех частей тела, в том числе элементов мозга, соединения мозга с компьютером, переноса сознания в компьютер и т. д. создадут новый тип рисков для людей, понять которые пока довольно сложно. В какой мере мы можем считать человеком существо, которому добавлено несколько генов, а несколько убрано? Готовы ли мы признать статус человека за любым разумным существом, возникшим на Земле, даже если оно не имеет ничего общего с человеком, себя человеком не считает и настроено к людям враждебно? Эти вопросы перестанут быть теоретическими в XXI веке.
Суть проблемы в том, что усовершенствование человека может идти разными путями, и не факт, что эти пути будут конвергироваться. Например, усовершенствование человека за счёт генных манипуляций даёт один путь, за счёт постепенной замены частей тела механизмами – другой, и за счёт полной пересадки сознания в компьютер – третий. Различны могут быть и заявляемые цели усовершенствования. И значительные группы людей наотрез откажутся от каких-либо усовершенствований.
Риски, связанные с проблемой «философского зомби»
«Философским зомби» называется (термин введён Д. Чалмерсом в 1996 г. в связи с дискуссиями об искусственном интеллекте) некий объект, который изображает человека, но при этом не имеет внутренних переживаний. Например, изображение человека на телеэкране является философским зомби, и в силу этого мы не рассматриваем выключение телевизора как убийство. Постепенный апгрейд человека ставит вопрос о том, не превратится ли на неком этапе улучшаемый человек в философского зомби.
Простой пример катастрофы, связанной с философским зомби, состоит в следующем. Допустим, людям предложили некий метод достижения бессмертия, и они на него согласились. Однако этот метод состоит в том, что человека 10 дней записывают на видеокамеру, а затем прокручивают фрагменты этой записи в случайном порядке. Разумеется, здесь подвох очевиден, и в реальности люди не согласятся, так как понимают, что это не бессмертие. Однако рассмотрим более сложный пример – допустим, у человека повреждена инсультом часть мозга, и ему заменяют её на компьютерный имплантат, приблизительно выполняющий её функции. Как узнать, не превратился ли в результате человек в философского зомби? Ответ очевиден – всегда найдутся те, кто будет в этом сомневаться и искать признаки «ненастоящести» исправленного человека.
То, что отличает живого человека от «философского зомби», называется «квалиа» , то есть качественные признаки переживаний, например, субъективное переживание зелёного цвета. Вопрос о реальности квалиа и их онтологическом статусе является предметом острых философских дискуссий. Моё мнение состоит в том, что квалиа – реальны, их онтологический статус высок, и без выяснения их подлинной природы не следует совершать опрометчивых экспериментов по переделке человеческой природы.
Можно с уверенностью предсказать, что когда появятся улучшенные люди, мир расколется надвое: на тех, кто будет считать настоящими людьми только обычных людей, и тех, кто будет улучшать себя. Масштабы такого конфликта будут воистину цивилизационными. Конечно, каждый решает за себя, но как родители отнесутся к тому, что их дитя уничтожит своё физическое тело и закачает себя в компьютер?
Ещё одной проблемой, угрозы от которой пока не ясны, является то, что человеческий ум не может порождать цели из ничего, не совершая при этом логической ошибки. Обычный человек обеспечен целями от рождения, и отсутствие целей у него скорее симптом депрессии, чем некого логического парадокса. Однако абсолютный ум, который постиг корни всех своих целей, может осознать их бессмысленность.
2.12. Природные риски
Вселенские катастрофы
Теоретически возможны катастрофы, которые изменят всю Вселенную как целое, по масштабу равновеликие Большому взрыву. Из статистических соображений вероятность их меньше чем 1% в ближайший миллиард лет, как показали Бостром и Тегмарк . Однако истинность рассуждений Бострома и Тегмарка зависит от истинности их базовой посылки – а именно о том, что разумная жизнь в нашей Вселенной могла бы возникнуть и несколько миллиардов лет назад. Посылка эта базируется на том, что тяжёлые элементы, необходимые для существования жизни, возникли уже через несколько миллиардов лет после возникновения Вселенной, задолго до формирования Земли. Очевидно, однако, что степень достоверности, которую мы можем приписать этой посылке, меньше, чем 100 миллиардов к 1, поскольку у нас нет прямых её доказательств – а именно следов ранних цивилизаций. Более того, явное отсутствие более ранних цивилизаций (парадокс Ферми) придаёт определённую достоверность противоположной посылке – а именно, что человечество возникло исключительно, крайне маловероятно рано. Возможно, что существование тяжелых элементов – не единственное необходимое условие для возникновения разумной жизни, и есть и другие условия, например, что частота вспышек близких квазаров и гиперновых значительно уменьшилась (а плотность этих объектов действительно убывает по мере расширения Вселенной и исчерпания водородных облаков). Бостром и Тегмарк пишут: «Можно подумать, что раз жизнь здесь, на Земле, выжила в течение примерно 4 Гигалет, такие катастрофические события должны быть исключительно редкими. К сожалению, этот аргумент несовершенен, и создаваемое им чувство безопасности – фальшиво. Он не принимает во внимание эффект наблюдательной селекции, который не позволяет любому наблюдателю наблюдать что-нибудь ещё, кроме того, что его вид дожил до момента, когда они сделали наблюдение. Даже если бы частота космических катастроф была бы очень велика, мы по-прежнему должны ожидать обнаружить себя на планете, которая ещё не уничтожена. Тот факт, что мы всё ещё живы, не может даже исключить гипотезу, что в среднем космическое пространство вокруг стерилизуется распадом вакуума, скажем, каждые 10 000 лет, и что наша собственная планета просто была чрезвычайно удачливой до сих пор. Если бы эта гипотеза была верна, перспективы будущего были бы унылы». И хотя далее Бостром и Тегмарк отвергают предположение о высокой частоте «стерилизующих катастроф», основываясь на позднем времени существования Земли, мы не можем принять этот их вывод, поскольку, как мы говорили выше, посылка, на которой он основан, ненадёжна. Это не означает, однако, неизбежность близкого вымирания в результате вселенской катастрофы. Единственный наш источник знаний о возможных вселенских катастрофах – теоретическая физика, поскольку, по определению, такой катастрофы ни разу не случалось за время жизни Вселенной (за исключением самого Большого Взрыва). Теоретическая физика порождает огромное количество непроверенных гипотез, а в случае вселенских катастроф они могут быть и принципиально непроверяемыми. Отметим также, что исходя из сегодняшнего понимания, мы никаким образом не можем ни предотвратить вселенскую катастрофу, ни защитится от неё (хотя, быть можем, можем ей спровоцировать – см. раздел об опасных физических экспериментах.) Обозначим теперь список возможных – с точки зрения некоторых теоретиков – вселенских катастроф.