"Но министр обороны - мой самый верный сторонник", - говорит Великий Вождь. "Только вчера он сказал мне..."
"Великий вождь, я знаю, что он тебе сказал. Я все слышал. Но я также знаю, что он сказал после этого отряду убийц. И вот уже несколько месяцев я улавливаю в этих данных тревожные закономерности".
"Вы уверены, что вас не обманули с помощью фальшивок?"
"Боюсь, что данные, на которые я опирался, на сто процентов подлинные", - говорит алгоритм. "Я проверил их с помощью своего специального алгоритма, выявляющего глубокие подделки. Я могу объяснить, как именно мы узнали, что это не глубокая подделка, но это займет у нас пару недель. Я не хотел предупреждать вас прежде, чем буду уверен, но все данные сходятся к неизбежному выводу: готовится переворот. Если мы не примем меры сейчас, убийцы будут здесь через час. Но отдайте мне приказ, и я ликвидирую предателя".
Наделив алгоритм наблюдения и безопасности столь широкими полномочиями, Великий Лидер поставил себя в безвыходную ситуацию. Если он не доверяет алгоритму, то может быть убит министром обороны, но если он доверяет алгоритму и убирает министра обороны, то становится марионеткой алгоритма. Если кто-то попытается сделать шаг против алгоритма, алгоритм точно знает, как манипулировать Великим Лидером. Обратите внимание, что алгоритм не обязательно должен быть сознательной сущностью, чтобы участвовать в таких маневрах. Как показывает мысленный эксперимент Бострома со скрепкой и как продемонстрировал в небольшом масштабе GPT-4, солгавший работнику TaskRabbit, бессознательный алгоритм может стремиться к накоплению власти и манипулированию людьми, даже не имея никаких человеческих побуждений, таких как жадность или эгоизм.
Если алгоритмы когда-нибудь разовьют способности, подобные тем, что описаны в мысленном эксперименте, диктатуры будут гораздо более уязвимы для алгоритмического захвата власти, чем демократии. Даже супермакиавеллистскому ИИ будет сложно захватить власть в распределенной демократической системе, такой как Соединенные Штаты. Даже если ИИ научится манипулировать президентом США, он может столкнуться с противодействием со стороны Конгресса, Верховного суда, губернаторов штатов, СМИ, крупных корпораций и различных неправительственных организаций. Как, например, алгоритм справится с филигранным голосованием в Сенате?
Захватить власть в высокоцентрализованной системе гораздо проще. Когда вся власть сосредоточена в руках одного человека, тот, кто контролирует доступ к автократу, может управлять им и всем государством. Чтобы взломать систему, нужно научиться манипулировать только одним человеком. Архетипичный пример - как римский император Тиберий стал марионеткой Луция Аэлия Сеянуса, командира преторианской гвардии.
Изначально преторианцы были созданы Августом как небольшая императорская телохранительница. Август назначил двух префектов командовать телохранителями, чтобы ни один из них не мог получить слишком большую власть над ним. Тиберий, однако, был не столь мудр. Его паранойя была его самой большой слабостью. Сеянус, один из двух преторианских префектов, искусно играл на страхах Тиберия. Он постоянно раскрывал предполагаемые заговоры с целью убийства Тиберия, многие из которых были чистейшей фантазией. Подозрительный император все больше не доверял всем, кроме Сеянуса. Он сделал Сеянуса единственным префектом преторианской гвардии, расширил ее до двенадцатитысячной армии и дал людям Сеянуса дополнительные функции по охране порядка и управлению городом Римом. Наконец, Сеянус убедил Тиберия переехать из столицы на Капри, аргументируя это тем, что на маленьком острове защищать императора будет гораздо проще, чем в переполненном людьми мегаполисе, где полно предателей и шпионов. На самом деле, объяснял римский историк Тацит, целью Сеянуса был контроль над всей информацией, поступающей к императору: "Доступ к императору должен был находиться под его контролем, и письма, по большей части передаваемые солдатами, должны были проходить через его руки".
Когда преторианцы контролировали Рим, Тиберий был изолирован на Капри, а Сеянус контролировал всю информацию, поступавшую к Тиберию, преторианский полководец стал настоящим правителем империи. Сеянус очищал всех, кто мог ему противостоять, включая членов императорской семьи, ложно обвиняя их в измене. Поскольку никто не мог связаться с императором без разрешения Сеянуса, Тиберий превратился в марионетку.