И все же, как бы алгоритмы ни осознавали свою ошибочность, мы должны держать в курсе и людей. Учитывая темпы развития ИИ, просто невозможно предугадать, как он будет развиваться, и поставить ограждения от всех будущих потенциальных опасностей. В этом заключается ключевое отличие ИИ от прежних экзистенциальных угроз, таких как ядерные технологии. Последние представляли человечеству несколько легко прогнозируемых сценариев конца света, наиболее очевидным из которых была тотальная ядерная война. Это означало, что можно было заранее осмыслить опасность и изучить способы ее смягчения. В отличие от этого, ИИ предлагает нам бесчисленное множество сценариев конца света. Некоторые из них относительно просты для понимания, например, использование террористами ИИ для создания биологического оружия массового поражения. Некоторые более сложны для понимания, например, создание ИИ нового психологического оружия массового поражения. А некоторые могут быть совершенно непостижимы для человеческого воображения, поскольку исходят из расчетов инопланетного разума. Чтобы защититься от множества непредвиденных проблем, нам лучше всего создать живые институты, которые смогут выявлять угрозы и реагировать на них по мере их возникновения70.
Древние иудеи и христиане были разочарованы, обнаружив, что Библия не может толковать сама себя, и с неохотой поддерживали человеческие институты, чтобы те делали то, что не могла сделать технология. В XXI веке мы находимся в почти противоположной ситуации. Мы разработали технологию, которая может интерпретировать сама себя, но именно по этой причине нам лучше создать человеческие институты для тщательного контроля за ней.
В заключение следует сказать, что новая компьютерная сеть не обязательно будет плохой или хорошей. Все, что мы знаем наверняка, - это то, что она будет чужой и ошибочной. Поэтому нам необходимо создать институты, которые смогут проверить не только привычные человеческие слабости, такие как жадность и ненависть, но и радикально чуждые ошибки. Технологического решения этой проблемы не существует. Это, скорее, политический вызов. Есть ли у нас политическая воля, чтобы справиться с ней? Современное человечество создало два основных типа политических систем: масштабную демократию и масштабный тоталитаризм. В части 3 рассматривается, как каждая из этих систем может справиться с радикально чуждой и ошибочной компьютерной сетью.
ЧАСТЬ
III
.
Компьютерная политика
ГЛАВА 9.
Демократии: Можем ли мы еще вести беседу?
Цивилизации рождаются из брака бюрократии и мифологии. Компьютерная сеть - это новый тип бюрократии, гораздо более мощный и неумолимый, чем любая человеческая бюрократия, которую мы видели раньше. Эта сеть также может создать межкомпьютерную мифологию, которая будет намного сложнее и чужероднее, чем любой бог, созданный человеком. Потенциальные преимущества этой сети огромны. Потенциальная обратная сторона - разрушение человеческой цивилизации.
Для некоторых людей предупреждения о крахе цивилизации звучат как чрезмерные иеремиады. Каждый раз, когда появлялась новая мощная технология, возникали опасения, что она может привести к апокалипсису, но мы все еще здесь. По мере развития промышленной революции сценарии конца света луддитов не оправдались, и "темные сатанинские мельницы" Блейка в итоге привели к созданию самых благополучных обществ в истории. Сегодня большинство людей живут гораздо лучше, чем их предки в XVIII веке. Разумные машины окажутся еще более полезными, чем все предыдущие, обещают такие энтузиасты ИИ, как Марк Андреессен и Рэй Курцвейл. Люди будут пользоваться гораздо более качественным здравоохранением, образованием и другими услугами, а ИИ даже поможет спасти экосистему от разрушения.
К сожалению, более пристальный взгляд на историю показывает, что луддиты были не совсем неправы и что у нас на самом деле есть очень веские причины опасаться новых мощных технологий. Даже если в конечном итоге положительные стороны этих технологий перевешивают отрицательные, путь к счастливому финалу обычно сопряжен со многими испытаниями и бедами. Новые технологии часто приводят к историческим катастрофам, но не потому, что они изначально плохие, а потому, что людям требуется время, чтобы научиться использовать их с умом.