По мере того как возможности ИИ будут расти, все более важно будет определить роль человечества в партнерстве с ИИ. Можно представить себе мир, в котором люди будут все больше подчиняться ИИ – а масштабы вопросов, решаемых ИИ, будут расти. Но если противник успешно развертывает ИИ – можно ли ответственно решить не развертывать свой собственный ИИ, даже если последствия точно не известны? И разумно ли отказаться от ИИ, который превосходно предсказывает наиболее эффективный курс действий, если этот курс повлечет за собой огромные жертвы? Как политик может удостовериться в том, что эти жертвы необходимы для победы? А если такая уверенность есть – захочет ли политик отказаться от этих жертв?
Человеку всегда сопутствовало его несовершенство. Даже лучшие лидеры принимают решения, не имея полной информации или в ситуации сложного выбора. Политики бывают пристрастны, они могут действовать на основе ошибочных предположений, они могут быть неспособны глубоко мыслить или задавать важные вопросы. Иногда они действуют под влиянием чистых эмоций. Их видение мира может искажать болезнь или идеология. Какие бы стратегии ни разрабатывались для организации партнерства человека и ИИ, это необходимо учитывать. ИИ может показывать в некоторых областях сверхчеловеческие способности, но его придется приспосабливать и к несовершенному человеческому контексту.
Дилемма сферы безопасности заключается в том, что возможность внедрения ИИ и кибероружия одной стороной может побудить противника, не имеющего такой возможности, атаковать первым. Это непохоже на ту ситуацию, которую создает ядерное оружие. Если ядерное оружие находится в международных рамках доктрин безопасности и концепций контроля над вооружениями, разработанных и дорабатываемых на протяжении десятилетий правительствами, учеными, стратегами и специалистами по этике, то ИИ и кибероружие не ограничены подобными рамками, а те рамки, которые существуют, правительства не готовы обсуждать. Страны – и, возможно, технологические компании – должны договориться о том, что будет допустимо и как будут сосуществовать различные силы, вооруженные ИИ. США и их союзники столкнутся с дополнительными вопросами, важнейшим из которых будет влияние ИИ на процветание демократических обществ.
Распространение оборонного ИИ изменит международное равновесие и те расчеты, путем которых оно до сих пор поддерживалось. Ядерное оружие стоит дорого, и его трудно скрыть. Создание ИИ тоже может потребовать ресурсов крупных компаний или целых государств, но поскольку использование ИИ осуществляется на относительно небольших компьютерах, то ИИ в целом будет широко доступен, в том числе способами, для которых он не был предназначен. В результате не будет ли ИИ-оружие доступно любому, у кого есть ноутбук, подключение к интернету и соответствующая квалификация? Будут ли правительства снабжать ИИ-вооружением наемников? Будет ли ИИ доступен террористам? Смогут ли они обвинять в совершенных ими преступлениях государства или другие субъекты?
Влияние ИИ на международные отношения будет весьма значительным. Расширятся как диапазон доступной информации, так и свобода действий для дипломатии. Национальные границы буквально растворятся. ИИ-переводчики облегчат межъязыковое общение – и одновременно подвергнут серьезным испытаниям представителей разных народов, не готовых к восприятию чужой национальной культуры. Сетевые платформы с поддержкой ИИ будут распространять свободное слово через границы, но хакерство и дезинформация станут искажать восприятие и оценку этих коммуникаций. В результате будет все сложнее достигать реализуемых соглашений с предсказуемыми результатами.
ИИ углубляет стратегический парадокс, который заключается в том, что человечество на протяжении 70 лет развивало ядерное оружие, но так и не разработало доктрину его применения, совместимого с какой-либо рациональной целью. Мы выделяем миллиарды на технологию настолько разрушительную, что мы не можем найти ей применение, не считая самых экстремальных сценариев. Если стратегия – это рациональное применение средств для достижения цели, то ядерное оружие несовместимо ни с какой стратегией.