Это не пророчество, а всего лишь возможность. После 1945 года диктаторы и их подчиненные сотрудничали с демократическими правительствами и их гражданами в деле сдерживания ядерного оружия. 9 июля 1955 года Альберт Эйнштейн, Бертран Рассел и ряд других выдающихся ученых и мыслителей опубликовали Манифест Рассела-Эйнштейна, в котором призвали лидеров как демократических, так и диктаторских государств к сотрудничеству в деле предотвращения ядерной войны. "Мы обращаемся, - говорится в манифесте, - как человеческие существа, к человеческим существам: помните о своей человечности и забудьте обо всем остальном. Если вы сможете это сделать, перед вами откроется путь в новый рай; если не сможете, перед вами встанет риск всеобщей гибели". Это справедливо и для ИИ. Было бы глупо со стороны диктаторов полагать, что ИИ обязательно изменит баланс сил в их пользу. Если они не будут осторожны, ИИ просто захватит власть в свои руки.
ГЛАВА 11.
Силиконовый занавес: Глобальная империя или глобальный раскол?
В предыдущих двух главах мы рассмотрели, как различные человеческие общества могут отреагировать на появление новой компьютерной сети. Но мы живем во взаимосвязанном мире, где решения одной страны могут оказать глубокое влияние на другие. Некоторые из самых серьезных опасностей, создаваемых ИИ, не являются результатом внутренней динамики отдельно взятого человеческого общества. Скорее, они возникают в результате динамики, охватывающей многие общества, что может привести к новым гонкам вооружений, новым войнам и новым имперским экспансиям.
Компьютеры еще не настолько мощны, чтобы полностью выйти из-под нашего контроля или самостоятельно уничтожить человеческую цивилизацию. Пока человечество сплочено, мы можем создать институты, которые будут контролировать ИИ, выявлять и исправлять ошибки алгоритмов. К сожалению, человечество никогда не было единым. Мы всегда страдали от плохих игроков, а также от разногласий между хорошими игроками. Таким образом, развитие ИИ представляет собой экзистенциальную опасность для человечества не из-за злобы компьютеров, а из-за наших собственных недостатков.
Так, параноидальный диктатор может передать неограниченную власть слабому ИИ, включая даже право наносить ядерные удары. Если диктатор доверяет своему ИИ больше, чем министру обороны, разве не имеет смысла поручить ему контроль над самым мощным оружием страны? Если ИИ допустит ошибку или начнет преследовать чужие цели, результат может быть катастрофическим, и не только для этой страны.
Точно так же террористы, сосредоточенные на событиях в одном уголке мира, могут использовать ИИ для провоцирования глобальной пандемии. Террористы могут быть более сведущи в мифологии апокалипсиса, чем в науке эпидемиологии, но им нужно только поставить цель, а все остальное сделает их ИИ. ИИ может синтезировать новый патоген, заказать его в коммерческих лабораториях или напечатать на биологических 3-D принтерах и разработать оптимальную стратегию его распространения по всему миру через аэропорты или цепочки поставок продовольствия. А что, если ИИ синтезирует вирус, который будет таким же смертоносным, как Эбола, таким же заразным, как COVID-19, и таким же медленно действующим, как СПИД? К тому времени, когда первые жертвы начнут умирать, а мир будет предупрежден об опасности, большинство людей на Земле уже будут заражены.
Как мы уже видели в предыдущих главах, человеческой цивилизации угрожает не только физическое и биологическое оружие массового поражения, такое как атомные бомбы и вирусы. Человеческую цивилизацию также может уничтожить оружие социального массового поражения, например истории, подрывающие наши социальные связи. ИИ, разработанный в одной стране, может быть использован для распространения фальшивых новостей, фальшивых денег и фальшивых людей, чтобы люди во множестве других стран потеряли способность доверять чему-либо или кому-либо.