• Поскольку такая система будет уже «доставлена» в любую точку земного шара, она может упростить действие любого оружия, поражающего каждого человека. Иначе говоря, захват власти над системой тотального контроля даст власть над всеми людьми и упростит задачу сделать с ними всё, что угодно, в том числе и нанести им вред. Например, можно разослать по почте некое лекарство и проконтролировать, чтобы все его приняли. Тех, кто отказался, арестовать.
Выводы: система тотального контроля кажется наиболее очевидным средством противостояния глобальным рискам. Однако она содержит ряд подводных камней, которые могут превратить её саму в фактор глобального риска. Кроме того, система тотального контроля подразумевает тоталитарное государство, которое, будучи снабжённым средствами производства в виде роботов, утратит потребность в людях как таковых.
Сознательная остановка технологического прогресса
Часто выдвигаются предложения об отказе от технического прогресса или в насильственной форме, или путём взывания к совести учёных, с целью предотвращения глобальных рисков. Есть разные варианты попыток осуществления это остановки, и все они или не работают, или содержат подводные камни:
1. Личный отказ от разработки новых технологий – практически ни на что не влияет. Всегда найдутся другие, которые это сделают.
2. Агитация, просвещение, социальные действия или терроризм как способы убедить других людей отказаться от развития опасных технологий. Никогда не работало. Как пишет Юдковски: любая стратегия, которая предполагает единодушное поведение всех людей, обречена на провал.
3. Отказ на определённой территории, например, одной страны – но это не мешает остальным странам продолжать, то есть эффективность нулевая.
4. Всемирное соглашение. На примере МАГАТЭ мы знаем, как плохо это работает.
5. Завоевание всего мира силой, которая сможет регулировать развитие технологий. Но в процессе этого завоевания велики шансы применения оружия судного дня теми ядерными державами, которые в результате утратят суверенитет. Кроме того, словами Дрекслера: «Далее, победившая сила была бы сама главной технологической силой с огромной военной мощью и демонстрирующейся готовностью ее использовать. Можно ли в этом случае доверять такой силе, чтобы она подавила собственный прогресс?» («Машины созидания».)
Средства превентивного удара
Мало иметь систему тотального контроля, нужно обладать возможностью предотвратить риск. Сейчас обычно в качестве крайней меры рассматривается удар ракетно-ядерными силами по точке источника риска.
Здесь наблюдается любопытное противоречие с программой строительства бункеров для выживания – если такие бункера будут секретны и неуязвимы, то их будет трудно уничтожить. Более того, они должны содержать в себе полностью оборудованные лаборатории и учёных на случай катастрофы. Поэтому возможна ситуация, когда «сверхоружие» будет создаваться в таком бункере (например, в СССР создавались подземные ядерные заводы для продолжения производства ядерного оружия в случае затяжной ядерной войны.) Люди, которые уже находятся в неуязвимом бункере, могут быть более психологически склонны к созданию сверхоружия для удара по поверхности. Следовательно, либо бункеры будут представлять угрозу человеческому выживанию, либо средства превентивного удара уничтожат все бункеры, которые могли бы использоваться для сохранения после некой катастрофы.
Однако удар по точке в пространстве не действует ни против системного кризиса, ни против некой информационной угрозы. Компьютерный вирус не вылечишь ядерным ударом. То же касается привязанности людей к сверхнаркотику. Далее, удар возможен, пока некий риск не вышел из точки. Если рецепт супервируса утёк в интернет, обратно его не выловишь. Уже сейчас современная военная машина бессильна против сетевых угроз, вроде террористических сетей, дающих метастазы по всей планете. Точно также в будущем компьютерный вирус будет не просто информационной угрозой данным на диске: он может заставлять фабрики по всему миру производить свои материальные копии, а через них снова уходить в сеть.
Наконец, сам удар (или даже его возможность) создаёт ситуацию стратегической нестабильности. Например, сейчас удар баллистической ракетой с обычной боеголовкой по террористам может вызвать срабатывание системы о ракетном предупреждении вероятного противника и привести к войне.
Наконец, удар требует определённого времени. Это время должно быть меньше времени от обнаружения развития угрозы до времени ожидаемого её созревания. Сейчас время от обнаружения до удара по любой точке Земли меньше 2 часов, и может быть уменьшено до минут с помощью спутникового оружия. (Однако время принятия решения больше.) Если бы от момента принятия решения о написании кода опасного вируса до его запуска проходило бы только 15 минут, то этой скорости было бы недостаточно. И этой скорости очевидно недостаточно, если в неком месте началось распыление опасных нанороботов по воздуху.
Ситуация принципиально изменится после основания космических колоний (даже чисто робототехнических – там тоже может произойти сбой, который превратит колонию в «раковую» – то есть склонную к неограниченному саморазмножению и распространению «токсинов»: опасных нанороботов, сверхбомб и прочего; а именно освоение космоса с помощью саморазмножающихся роботов, использующих местные материалы, наиболее перспективно). За время, пока сигнал об опасности пройдёт, скажем, от спутника Юпитера до Земли, и затем от Земли туда прилетит «флот» (скажем, ракеты с ядерными боеголовками и боевыми нанороботами) наводить порядок (жечь всё подряд), будет уже поздно. Конечно, можно держать «флот» на орбите каждого спутника, где есть способные к саморазмножению колонии, но что если мятеж произойдёт именно на самом флоте? Тогда нужен флот, который контролирует другие флоты, и плавает между спутниками. А затем ещё один межпланетный флот для контроля над ними. Короче, ситуация не выглядит стратегически стабильной, так как, как известно, «у семи нянек дитя без глазу» ¬– то есть выше определённого уровня системы контроля начинают мешать друг другу. Возможно, неспособность контролировать удалённые колонии приводит к тому, что цивилизациям выгодно замыкаться на материнской планете – вот ещё одно решение парадокса Ферми.
Удаление источников рисков на значительное расстояние от Земли
Есть предложение все опасные физические эксперименты проводить «за орбитой Плутона». Проблемы такого подхода:
• Если мы получим в руки технические средства создавать мощные экспериментальные установки далеко от Земли, мы также будем иметь возможности быстро доставлять их результаты обратно.
• Это не сможет остановить некоторых людей от аналогичных опытов на Земле, особенно если они просты.
• Это не защитит нас от создания опасного сильного ИИ, так как он может распространяться информационно.
• Даже за орбитой Плутона возможны опасные эксперименты, которые повлияют на Землю.
• Трудно заранее знать, какие именно эксперименты надо проводить «за орбитой Плутона».
• Нет технических возможностей доставить огромное оборудование за орбиту Плутона в течение ближайших десятков лет, тем более не используя опасные технологии в виде самовоспроизводящихся роботов.
Выживание на природе, создание отдалённых поселений
Это вряд ли поможет в случае действительно глобальной катастрофы, поскольку она должна затронуть всю поверхность Земли (если это некий неразумный агент), или обнаружить всех людей (если это разумный агент). Удалённое поселение уязвимо и к первому, и ко второму – если только это не вооружённая секретная база, но тогда это проходит, скорее, под графой «бункеры».