Что касается искусства, то инновации в цифровых аудио– и видеозаписях позволяют нам платить небольшую цену (по мнению всех, за исключением наиболее ярых меломанов и любителей кино) за отказ от аналогового формата, благодаря чему обеспечивается удобное и простое – не слишком ли простое? – воспроизведение музыкальных и прочих произведений искусства с почти идеальной точностью. Но здесь имеются колоссальные скрытые издержки. «Министерство правды» Оруэлла сегодня вполне возможно реализовать на практике. Ныне получают распространение технологии создания (при посредстве ИИ) практически неотличимых от оригиналов подделок переговоров, например вследствие чего устаревают инструменты расследований, которые мы привыкли считать само собой разумеющимися за последние сто пятьдесят лет. Согласны ли мы отказаться от краткой эпохи фотографических доказательств и вернуться в прежние времена, когда человеческая память и доверие служили этаким золотым стандартом, – или будем разрабатывать новые методы защиты и нападения в гонке вооружений периода постправды? (Мы способны вообразить возвращение фотопленки и проявки, хранение улик в «защищенных от несанкционированного доступа местах» до момента предъявления присяжным и т. д., но как скоро кто-то додумается до способа поставить под сомнение достоверность таких свидетельств? Вот один тревожный урок недавнего прошлого: уничтожение репутации и доверия обходится намного дешевле, чем защита репутации.) Винер рассуждал максимально широко: «в конечном счете отсутствует различие между вооружением себя и вооружением наших врагов». Информационная эпоха – это также эпоха дезинформации.
Что тут можно поделать? Нужно переосмыслить наши приоритеты, опираясь на пристрастный, но искренний анализ Винера, Вейценбаума и других авторитетных критиков нашей технофилии. Ключевым, на мой взгляд, является оброненное почти мимоходом замечание Винера насчет машин, которые «безвредны сами по себе». Как я недавно заявил, мы создаем инструменты, а не коллег, и реальная опасность состоит в том, чтобы не видеть разницы; мы должны всячески ее подчеркивать, обозначать и отстаивать, в том числе с помощью политических и правовых инноваций.
Возможно, лучше всего удастся объяснить, что конкретно упускают из вида, указав, что сам Алан Тьюринг допустил вполне простительную и понятную ошибку, когда формулировал свой знаменитый тест. Как хорошо известно, это вариант его «игры в подражание», когда мужчина в помещении без окон, письменно общающийся с посредником, пытается убедить посредника в том, что он на самом деле женщина, а женщина, находящаяся в тех же условиях, уверяет, что это она – женщина. Тьюринг писал, что для мужчины (или для женщины, притворяющейся мужчиной) будет очень и очень непросто воспользоваться обилием знаний о том, как думает и действует противоположный пол, что он склонен одобрять или игнорировать. Конечно (дзинь!)[50], любой мужчина, способный убедительно изобразить женщину и превзойти в этом собственно женщин, окажется разумным агентом. Но Тьюринг не предвидел способности ИИ на основе глубинного обучения усваивать этот объем информации в пригодной для использования форме без необходимости понимания усвоенных сведений. Тьюринг воображал проницательного и творческого (следовательно, разумного) агента, который ловко выстраивает ответы на основе проработанной «теории» того, что женщины якобы могут делать и говорить. Если коротко, перед нами интеллектуальное планирование по принципу сверху вниз. Разумеется, Тьюринг не предполагал, что мужчина, победивший в игре в подражание, каким-то образом действительно станет женщиной; он считал, что исход игры будет определять мужское сознание. Скрытая предпосылка аргументации Тьюринга была такова: лишь сознательный, разумный агент способен разрабатывать и реализовывать выигрышную стратегию в игре в подражание. Поэтому для Тьюринга (и для других, включая меня, по-прежнему стойкого защитника теста Тьюринга) было обоснованным утверждение, что «вычислительная машина», способная имитировать человека в состязании с человеком, может и не обладать сознанием в человеческом понимании, но она должна быть сознательным агентом хоть в какой-то степени. Думаю, данная позиция до сих пор достойна защиты (единственная из многих), но следует отдавать себе отчет в том, насколько изобретательным и проницательным придется быть посреднику, чтобы разоблачить поверхностность суждений ИИ, прошедшего глубинное обучение (инструмента, а не коллеги).
50
Обязательная тревога (этакий колокольный звон в голове всякий раз, когда некое слово приводится в качестве аргумента) позитивно описана мной в работе «Интуиционные насосы и другие инструменты мышления» (2013). –