Профессор и в самом деле не видит никаких технических пределов для бесконечной экспансии ИИ независимо от того, что она будет означать — добро или зло. По его мнению, создать сознательные машины можно даже случайно, экспериментируя с различными комбинациями доступных нам техник ИИ. Такое сознание, конечно, отличалось бы от нашего: поскольку Рассел — нейрохирург, он лучше прочих знает, что нейронные механизмы остаются неизведанной территорией, которую мы только начинаем изучать. Но он не исключает того, что другая форма субъектности, отличная от человеческой, может развиться случайно, в компьютерных экспериментах. Машина могла бы тогда обрести независимость от своего собственного кода и легко регулировать поведение людей, решения которых становятся все более предсказуемыми. Об этой опасности Рассел думает уже давно, еще с тех пор как подростком посетил завод IBM, где работницы выполняли одну-единственную функцию — манипулировали кабелями в соответствии с инструкциями машины. Соединять, разъединять, снова соединять — вот все, что осталось человеку. «Эти женщины больше не были самостоятельными», — взволнованно говорит он.
Угроза полномасштабной утраты контроля представляется еще более серьезной в силу того, что сопротивление новым технологиям довольно слабо. ИИ уже показал свою темную сторону, вызвав искусственные «молниеносные обвалы» на бирже. Также им пользовались для политических манипуляций, что в полной мере доказал скандал с компанией Cambridge Analytica. Однако ничто из этого не произвело «эффекта Чернобыля», который грозил бы отрасли в целом. Возможно, потребуется какая-нибудь грандиозная катастрофа, например взлом искусственным интеллектом всей международной финансовой системы или даже крах мировой экономики[35], чтобы люди поняли злокозненность машины и попытались овладеть ею, пока еще не поздно. Сегодня же Рассел злится, когда его коллеги сравнивают ИИ со сложными калькуляторами, нивелируя таким образом необходимость дискуссии об экзистенциальных рисках, созданных машинами.
Стюарт Рассел — гуманист: он боится, как бы ИИ, сбежавший от своих программистов, не стал концом нашей цивилизации. Пластичность человека позволяет адаптироваться к чему угодно, в том числе и к собственному вымиранию. Рассел признаёт, что значительная часть сообщества ИИ не разделяет этих страхов (что само по себе, с его точки зрения, является отрицанием в психоаналитическом смысле слова), однако он обращает внимание на секретность, в которой сегодня работают исследователи. «В большинстве компаний, — объясняет он мне, — все сотрудники получают инструкции, запрещающие говорить о сильном ИИ». Пока же он не перестает выступать со своими тезисами, в том числе в книгах и на TED Talk, рассказывая, как следует регулировать ИИ, не навязывая ему этические критерии, которые всегда будут оставаться неполными, но заставляя его наблюдать и имитировать человеческое взаимодействие. То есть Рассел отказался от идеи затормозить технологическое развитие и просто ищет способ канализировать его невероятный потенциал, направив его в полезную для нас сторону. «Если нам удастся управлять машиной, мы могли бы жить как боги, — заключает он. — Но пока все развивается в противоположном направлении».
Я расстался со Стюартом Расселом, с его милым домом и просвещенным катастрофизмом в самых ужасных сомнениях. Я не ожидал, что столь рациональный и информированный эксперт тоже поставит вопрос о сильном ИИ — в категориях одновременно взвешенных и драматичных. От этой темы не удалось отмахнуться, оставив ее любителям научной фантастики и астрофизикам, убоявшимся кометы. Зачем задаваться вопросами о свободе воли, если человечеству грозит гибель? Гипотеза сильного ИИ выходит далеко за рамки проведенного в предыдущей главе различия между процессом и результатом мышления, с которым Стюарт Рассел тоже бы согласился. Ведь речь идет не о том, чтобы сымитировать человеческое сознание, а о производстве искусственного отношения к себе. Тот факт, что информационные системы будут, если сравнивать с нашим восприятием мира (слабый ИИ), иллюзией, нисколько не мешает тому, что они могут стать реальностью, найдя собственный путь к самосознанию (сильный ИИ). Словно бы копия, сколь бы несовершенной и инструментальной она ни была, может обрести жизнь. Словно бы пленник «китайской комнаты», на огромной скорости манипулирующий миллионами символов, в конце концов приобрел какую-то интуицию, несоизмеримую с классическим человеческим пониманием. Что, если вскоре мы отдадим машине ключ, позволяющий ей убежать из «китайской комнаты», в которой мы ее заперли? Я не мог продолжать это исследование, не составив более твердого мнения об этом едва ли не метафизическом вопросе, а потому был вынужден сделать заход в довольно-таки теоретическую сферу философии ИИ.
35
Подобная гипотеза была ярко описана Максом Тегмарком во введении к его книге «Жизнь 3.0» (