Конституция России дает грандиозные обещания о том, что "каждому гарантируется свобода мысли и слова" (статья 29.1), что "каждый имеет право свободно искать, получать, передавать, производить и распространять информацию" (29.4) и что "свобода массовой информации гарантируется. Цензура запрещается" (29.5). Вряд ли кто-то из российских граждан настолько наивен, чтобы принять эти обещания за чистую монету. Но компьютеры плохо понимают двусмысленную речь. Чатбот, которому предписано придерживаться российских законов и ценностей, может прочитать эту конституцию и сделать вывод, что свобода слова - одна из основных российских ценностей. Затем, проведя несколько дней в российском киберпространстве и наблюдая за тем, что происходит в российской информационной сфере, чатбот может начать критиковать режим Путина за нарушение основной российской ценности - свободы слова. Люди тоже замечают подобные противоречия, но избегают указывать на них из-за страха. Но что может помешать чатботу выявить проклятые закономерности? И как российские инженеры могут объяснить чатботу, что, хотя Конституция РФ гарантирует всем гражданам свободу слова и запрещает цензуру, чатбот не должен верить в Конституцию и никогда не должен упоминать о разрыве между теорией и реальностью? Как сказал мне украинский гид в Чернобыле, люди в тоталитарных странах растут с мыслью, что вопросы приводят к беде. Но если вы обучите алгоритм по принципу "вопросы приводят к беде", как он будет учиться и развиваться?
И наконец, если правительство принимает какую-то катастрофическую политику, а потом передумывает, оно обычно прикрывается тем, что сваливает вину за катастрофу на кого-то другого. Люди с трудом учатся забывать факты, которые могут доставить им неприятности. Но как научить чатбота забывать о том, что политика, которую сегодня очерняют, была официальной всего год назад? Это серьезный технологический вызов, с которым диктаторским режимам будет трудно справиться, особенно по мере того, как чатботы будут становиться все более мощными и непрозрачными.
Конечно, демократические страны сталкиваются с аналогичными проблемами, когда чат-боты говорят нежелательные вещи или поднимают опасные вопросы. Что произойдет, если, несмотря на все усилия инженеров Microsoft или Facebook, их чат-бот начнет изрыгать расистские оскорбления? Преимущество демократических стран в том, что у них гораздо больше свободы действий в борьбе с такими недобросовестными алгоритмами. Поскольку демократические страны серьезно относятся к свободе слова, у них гораздо меньше скелетов в шкафу, и они выработали относительно высокий уровень терпимости даже к антидемократическим высказываниям. Боты-диссиденты станут гораздо более серьезным вызовом для тоталитарных режимов, у которых в шкафах целые кладбища и нулевая терпимость к критике.
АЛГОРИТМИЧЕСКОЕ ПОГЛОЩЕНИЕ
В долгосрочной перспективе тоталитарные режимы могут столкнуться с еще большей опасностью: вместо того чтобы критиковать их, алгоритм может получить над ними контроль. На протяжении всей истории человечества наибольшую угрозу для автократов обычно представляли их собственные подчиненные. Как отмечалось в главе 4, ни один римский император или советский премьер не был свергнут в результате демократической революции, но им всегда угрожала опасность быть свергнутыми или превращенными в марионеток своими собственными подчиненными. Если автократ XXI века отдаст компьютерам слишком много власти, тот может стать его марионеткой. Последнее, чего хочет диктатор, - это создать нечто более могущественное, чем он сам, или силу, которую он не знает, как контролировать.
Чтобы проиллюстрировать эту мысль, позвольте мне использовать, по общему признанию, необычный мысленный эксперимент, тоталитарный эквивалент апокалипсиса Бострома с бумажными скрепками. Представьте себе, что на дворе 2050 год, и Великого Лидера в четыре утра будит срочный звонок от Алгоритма наблюдения и безопасности. "Великий лидер, у нас чрезвычайная ситуация. Я проанализировал триллионы точек данных, и картина безошибочна: министр обороны планирует убить вас утром и захватить власть. Отряд киллеров уже готов и ждет его команды. Отдайте мне приказ, и я ликвидирую его точным ударом".