Нам уже довелось увидеть, насколько опасно может быть автономное программное обеспечение, когда утром 1 августа 2012 года крупнейшая торговая площадка Уолл-стрит, Knight Capital, включила новую автоматизированную программу для покупки и продажи акций. Код содержал ошибку, и программа немедленно наводнила рынок иррациональными операциями. Прошло 45 минут, прежде чем программисты Knight Capital сумели выявить и устранить проблему. Для человека это недолгий срок, но для компьютера это вечность. Не замечая собственных ошибок, программа заключила более 4 миллионов сделок, совершив операций на сумму в 7 миллиардов долларов, что чуть было не привело к банкротству компании. Да, мы знаем, как создавать мыслящие машины. А вот чего мы не знаем, так это того, как сделать их вдумчивыми.
Knight Capital ничего не потеряла, кроме денег. По мере того как программы принимают на себя управление большим числом экономических, социальных, военных и личных процессов, затраты, связанные с ошибками, авариями и непредвиденными эффектами, будут расти. Риски усиливаются из-за невидимости программного кода. И как отдельные личности, и как общество мы все больше зависим от алгоритмов искусственного интеллекта, которых мы не понимаем. Их действия, а также мотивация и намерения, которые формируют эти действия, скрыты от нас. Создается дисбаланс сил, и он оставляет нас открытыми для тайного наблюдения и манипуляций. В прошлом году нам были даны кое-какие намеки по поводу способов, с помощью которых социальные сети тайно проводят психологические тесты на своих участниках посредством манипуляций с новостной летной. Поскольку компьютеры учатся все искуснее наблюдать за нами, формировать наши взгляды и действия, растут возможности для злоупотреблений.
В XIX веке общество столкнулось с тем, что недавно почивший историк Джеймс Бениджер охарактеризовал как кризис контроля{3}: технологии обработки материи опередили технологии обработки информации, а способность людей контролировать и регулировать производственные и другие связанные с ними процессы, в свою очередь, ослабела. Кризис контроля, который проявлялся во всем, от железнодорожных катастроф до дисбаланса спроса и предложения, а также недоступности государственных услуг, был в конечном счете разрешен благодаря изобретению систем автоматической обработки данных, таких как перфокарточный табулятор, который Герман Холлерит сконструировал для Бюро переписи населения США. Информационные технологии догнали производственные, позволив людям снова четко видеть мир, который начал было расплываться.
Сегодня мы сталкиваемся с еще одним кризисом контроля, хотя он — зеркальное отражение первого. Мы теперь изо всех сил стараемся совладать именно с тем, что помогло нам восстановить контроль в начале XX века, — с информационными технологиями. Наша способность собирать и обрабатывать данные во всех формах и управлять ими опередила нашу способность контролировать и регулировать этот процесс таким образом, который удовлетворяет нашим социальным и личным интересам. Разрешение нового кризиса контроля скоро станет одной из величайших проблем человечества. Чтобы справиться с нею, нужно прежде всего признать, что опасности, связанные с искусственным интеллектом, относятся не к какому-то отдаленному антиутопическому будущему. Они уже здесь.
Мы их построили, но мы их не понимаем
По мере того как алгоритмы, поколение за поколением, становятся умнее, они также становятся более непонятными. Нам же, чтобы работать с умными машинами, должно быть ясно, как они думают. Нам, возможно, впервые удалось создать устройства, которых мы сами не понимаем.
Поскольку мы их программировали, мы сознаем, почему они делают каждый отдельный шаг. Но машины совершают миллиарды таких шагов — шахматных ходов, рекомендаций кинофильмов согласно предпочтениям пользователя, и они становятся неочевидны для нас, хоть мы и понимаем архитектуру созданной нами программы.
3
James R. Beniger, The Control Revolution: Technological and Economic Origins of the Information Society (Cambridge, MA: Harvard University Press, 1986). [Джеймс Р. Бениджер. Революция контроля: технологические и экономические истоки информационного общества]