В 1994 году компьютерная программа обыграла чемпиона мира по шашкам. Два года спустя Deep Blue обыграла Гарри Каспарова в шахматы. В 2011 году компьютер Watson от IBM выиграл в "Jeopardy!", практически уничтожив двух многолетних чемпионов шоу. Но ни одна из этих побед не подготовила никого к тому, что произошло в 2016 году в Сеуле. Той весной на шестом этаже отеля Four Seasons собрались сотни людей, чтобы посмотреть, как Ли Седоль, один из ведущих чемпионов мира по игре в го, играет с AlphaGo, алгоритмом, созданным компанией DeepMind, принадлежащей Google. Го - древняя китайская настольная игра, которая в геометрической прогрессии сложнее шахмат: количество возможных ходов превышает число атомов во Вселенной. В середине матча AlphaGo сделал настолько странный ход, что все присутствующие в зале решили, что это ошибка. "Это не человеческий ход", - сказал один из бывших чемпионов. "Я никогда не видел, чтобы человек делал такой ход". В итоге ход оказался решающим. Компьютер выиграл эту партию, затем следующую, обеспечив себе победу в матче из пяти партий.
AlphaGo - это разновидность глубокого обучения, особенно мощного вида машинного обучения, который с тех пор стал предпочтительным средством для получения прогнозов из огромного количества необработанных данных нашей эпохи. Кредитные аудиторы используют его, чтобы решить, выдавать или не выдавать кредит. ЦРУ использует его для прогнозирования социальных волнений. Эти системы можно найти и в программах безопасности аэропортов, где они используются для распознавания лиц на отсканированных фотографиях паспортов, и в больницах, где они стали очень хорошо диагностировать рак, и на Instagram, где они предупреждают пользователей о том, что что-то, что они собираются опубликовать, может быть оскорбительным. Оказывается, многое в жизни можно "геймифицировать", свести к ряду простых правил, которые позволяют этим машинам строить собственные модели мира - модели, которые оказываются до жути точными. В годы, последовавшие за матчем AlphaGo, революция в машинном обучении и, в частности, глубокое обучение, которое превозносили за его "неоправданную эффективность", казались безграничным энтузиазмом. К 2017 году эти алгоритмы превзошли людей-рентгенологов в выявлении рака легких, оказались быстрее и эффективнее людей в распознавании изображений на фотографиях и сочиняли барочные хоралы настолько убедительно, что профессиональные музыканты ошибочно приписывали их Баху.
Эта технология также вызывала опасения. Многие формы машинного обучения считаются технологиями "черного ящика". Они состоят из множества скрытых слоев нейронных сетей, и нет никакой возможности определить, какую модель они строят на основе своего опыта. В процессе обучения они создают внутренние узлы, представляющие абстрактные признаки или взаимосвязи, которые они обнаруживают, но ни один из которых не соответствует каким-либо терминам в человеческом языке (даже алгоритмы, обладающие сверхъестественной способностью распознавать, скажем, собак на фотографии, понятия не имеют, что такое собака на самом деле; они просто улавливают закономерности в данных). Если бы вы распечатали все, что делают сети между входом и выходом, это было бы равносильно миллиардам арифметических операций - "объяснение", которое невозможно понять. Когда AlphaGo выиграла матч в Сеуле, даже ее создатель Дэвид Сильвер не смог объяснить логику неожиданного хода алгоритма. "Он обнаружил это сам, - сказал Сильвер, - в процессе самоанализа и анализа". Хотя предпринимались различные попытки расшифровать, как машины пришли к тому или иному выводу, технология, похоже, поддается объяснению не больше, чем человеческий мозг (профессор лаборатории искусственного интеллекта Uber назвал такие попытки "искусственной нейронаукой"). Как никакая другая технология, эти алгоритмы выполнили призыв Андерсона к объективному знанию ценой человеческого понимания. Чтобы получить превосходные знания, которыми обладают машины, мы должны отказаться от своего желания знать "почему" и принять их результаты как чистое откровение.
Винер почувствовал в машинном обучении нечто принципиально религиозное, но он, пожалуй, неправильно распределил роли в Книге Иова. Эти алгоритмы - не хитрый дьявол, который перехитрил своего создателя. Вместо этого они стали абсолютными властителями, требующими слепого подчинения. По мере того как эти технологии все больше интегрируются в сферу общественной жизни, многие люди оказываются в положении, подобном положению Иова: им отказывают в праве знать, почему им отказали в кредите, уволили с работы или определили вероятность развития рака. На самом деле трудно избежать сравнения с божественным правосудием, учитывая, что наша система правосудия превратилась в настоящую лабораторию экспериментов по машинному обучению. Хотя статистический анализ используется в полицейских департаментах с середины 1990-х годов, сейчас многие правоохранительные органы опираются на алгоритмы прогнозирования для выявления очагов преступности. Одна из таких систем, PredPol, утверждает, что она в два раза точнее, чем человеческие аналитики, предсказывает места совершения преступлений. Система опирается на данные о прошлых преступлениях и помещает на своих картах красные квадратики вокруг районов или отдельных городских кварталов, чтобы обозначить их как места повышенного риска. Как отмечает Джеки Ванг в своей книге "Карцеральный капитализм", маркетинговая литература PredPol, похоже, предполагает, что система практически ясновидящая. В ней приводятся анекдоты, в которых полицейские, отправляясь в места повышенного риска, обнаруживают преступников, совершающих преступление.
Сторонники этой технологии настаивают на том, что она не является реальным аналогом "Отчета о меньшинстве" (Minority Report), фильма 2002 года, в котором интуитивные люди, называемые прекогами, используются правоохранительными органами для предсказания преступлений, чтобы "преступник" был арестован до того, как он действительно совершит их. Медиа-стратег PredPol утверждает, что программное обеспечение - это не научная фантастика, а "научный факт", подчеркивая, что алгоритмы абсолютно нейтральны и объективны. На самом деле программное обеспечение часто преподносится как способ уменьшить расовую предвзятость в правоохранительных органах. Один из создателей PredPol утверждал, что, поскольку алгоритмы ориентируются на "объективные" факторы, такие как время, место и дата потенциальных преступлений, а не на демографические характеристики отдельных преступников, программное обеспечение "потенциально уменьшает любые предубеждения офицеров в отношении расы или социально-экономического статуса подозреваемых".
Аналогичные алгоритмы используются при вынесении приговоров, определяя степень угрозы для общества и риск побега обвиняемого перед вынесением приговора. Эти машины сканируют данные из картотеки обвиняемых, включая подозреваемое преступление, количество предыдущих арестов и место ареста (некоторые модели также учитывают место работы подозреваемого, знакомых и его кредитный рейтинг), затем сравнивают эти данные с сотнями и тысячами судимостей и присваивают обвиняемому балл риска, который используется для определения того, где он должен ожидать суда - дома или в тюрьме. Подобные алгоритмы впервые попали в заголовки национальных газет в 2017 году, во время суда над Эриком Лумисом, тридцатичетырехлетним мужчиной из Висконсина, чей тюремный приговор - шесть лет за уклонение от уплаты налогов - был частично основан на КОМПАСе, прогностической модели, определяющей вероятность рецидива преступлений. Во время судебного заседания судья сообщил Лумису, что по результатам оценки КОМПАС он был отнесен к группе высокого риска для общества. Лумис, естественно, поинтересовался, какие критерии использовались при вынесении приговора, но ему сообщили, что он не может оспорить решение алгоритма. В итоге его дело дошло до Верховного суда Висконсина, который вынес решение не в его пользу. Генеральный прокурор штата утверждал, что Лумис обладал теми же знаниями о своем деле, что и суд (судьи, по его словам, были в равной степени осведомлены о логике алгоритма), и заявлял, что Лумис "был волен подвергнуть сомнению оценку и объяснить ее возможные недостатки". Но это было довольно творческое понимание свободы. Лумис был волен подвергнуть алгоритм сомнению точно так же, как Иов был волен подвергнуть сомнению справедливость Иеговы.