Именно об этом беспокойстве пишет Вебер в книге "Протестантская этика и дух капитализма". Протестантизм, по его мнению, привнес в западную культуру новое, навязчивое сомнение в статусе своего спасения. Те, кто не может знать, являются ли они избранными, сделают все возможное, чтобы вести себя так, как будто они избранные, хотя бы для того, чтобы успокоить свой разум. Они будут делать все, что требуется, потому что никакие заверения не убедят их в том, что их усилия оправдались. Это сомнение породило удивительную энергию - "протестантскую трудовую этику", дух трудолюбия и самоконтроля, который создал необходимые условия для подъема капитализма. Но, как показывает мой собственный опыт, борьба с механизмами судьбы может иметь и обратный эффект. Как только у вас появляются основания полагать, что ваши худшие подозрения верны, бороться с ними становится бессмысленно.
-
Самым известным современным пересказом Книги Иова - хотя библейское вдохновение в нем затушевано и заслонено антиутопической политикой - является роман Кафки "Испытание". В романе рассказывается история Йозефа К., анонимного банковского служащего, которого однажды утром арестовывают, не объясняя ему сути его преступления. Пытаясь доказать свою невиновность, он сталкивается с загадочной системой правосудия, которую, кажется, не понимает никто, даже ее клерки и эмиссары. Судебная система имеет на него какое-то досье и хранит жуткие сведения о его прошлых действиях, но он так и не может понять, почему его расследуют и в каком преступлении его подозревают. Нортроп Фрай назвал роман "своего рода "мидрашем" на книгу Иова", в котором непрозрачная природа божественного правосудия переосмыслена как лабиринт современной бюрократии. Стоическое и грозное здание государства становится в двадцатом веке воплощением Иеговы, скрывающего себя в вихре.
Дэниел Дж. Солоу, профессор права, пишущий о частной жизни и слежке, утверждает, что роман прозорливо отражает дилемму современного субъекта информационных технологий. По его мнению, озабоченность сбором данных и предиктивной аналитикой слишком сильно сфокусирована на оруэлловских страхах - идее, что государство следит за нашими самыми частными моментами, жадно выискивая признаки политического несогласия, - в то время как реальные угрозы более кафкианские. Уникальная угроза бюрократического государства заключается в его безликости, отсутствии намерений и смысла. "В "Испытании" изображена бюрократия с непостижимыми целями, которая использует информацию о людях для принятия важных решений о них, но при этом лишает людей возможности участвовать в том, как используется их информация..." Солоу пишет. "Вред от бюрократии - равнодушие, ошибки, злоупотребления, разочарование, отсутствие прозрачности и подотчетности".
По мере того как технологии "черного ящика" становятся все более распространенными, не утихают требования о повышении прозрачности. В 2016 году Генеральный регламент Европейского союза по защите данных включил в свои положения "право на объяснение", заявив, что граждане имеют право знать причину автоматизированных решений, которые их касаются. Хотя в Соединенных Штатах аналогичной меры не существует, технологическая индустрия стала более благосклонно относиться к "прозрачности" и "объяснимости", хотя бы для того, чтобы укрепить доверие потребителей. Некоторые компании утверждают, что они разработали методы, которые работают в обратном направлении, чтобы найти точки данных, которые могли вызвать решения машины - хотя эти объяснения в лучшем случае являются разумными догадками. (Сэм Ритчи, бывший инженер-программист компании Stripe, предпочитает термин "нарративы", поскольку объяснения - это не пошаговое описание процесса принятия решений алгоритмом, а гипотеза о тактике рассуждений, которую он мог использовать). В некоторых случаях объяснения исходят от совершенно другой системы, обученной генерировать ответы, которые призваны убедительно объяснить в семантических терминах решения, принятые первоначальной машиной, в то время как на самом деле эти две системы совершенно автономны и не связаны между собой. Эти вводящие в заблуждение объяснения в конечном итоге просто вносят еще один слой непрозрачности. "Проблема усугубляется, - пишет критик Катрин Пассиг, - потому что даже существование отсутствия объяснения скрывается".
Однако в какой-то степени дебаты о технических объяснениях и их предполагаемой невозможности - это ловкий трюк, призванный отвлечь внимание от реальных препятствий на пути к прозрачности, которые носят юридический и экономический характер. Система КОМПАС, которая использовалась в деле Эрика Лумиса, жителя Висконсина, которому было отказано в праве знать, по каким критериям алгоритм определял его тюремный срок, на самом деле не была моделью "черного ящика"; она была разработана частной компанией и защищена правом собственности. Google, Amazon, Palantir и Facebook - многие компании, внедрившие технологии "черного ящика" в государственные системы, - естественно, не решаются раскрывать принцип работы своих программ даже в тех случаях, когда это возможно, чтобы конкуренты не получили доступ к их исследованиям. Учитывая, что эти машины теперь интегрируются в огромные системы, стремящиеся к прибыли, которые сами по себе непостижимы, существует все больше теневых границ между машинами, которые эзотеричны по своей природе, и теми, которые скрыты для защиты власть имущих. Нам не только не позволено знать информацию, которую эти системы имеют о нас, нам не позволено знать, почему нам не позволено знать.
Эта непрозрачность имеет еще более коварные последствия. Хотя эти технологии часто превозносят за их "нейтральность", этот покров безликой объективности делает учреждения, которые их используют, более неуязвимыми для обвинений в несправедливости. Как отмечает Ванг в книге "Карцеральный капитализм", многие полицейские департаменты взяли на вооружение предиктивные модели в качестве ответа на свой "кризис легитимности", видя в них решение проблемы широко распространенного общественного недоверия к полицейским, возникшего в результате многолетнего расового господства и произвольного применения силы. Предиктивная полиция позволяет полицейским провести ребрендинг "таким образом, чтобы подчеркнуть статистическую безликость и символически устранить самостоятельность отдельных сотрудников", - пишет Ванг, представляя таким образом деятельность полиции как "нейтральную, беспристрастную и рациональную". Но персонификация - необходимая часть морального возмущения. ACAB, аббревиатура, ставшая известной благодаря антиполицейским протестам, теряет свою риторическую силу, когда в ней нет субъекта. "Все полицейские базы данных - ублюдки" не имеет смысла, - пишет Ванг.
Когда дело доходит до данных, используемых для этих прогнозов, - информации, которую тихо выкачивают из нас компании, торгующие тем, что ученый Шошана Зубофф называет "поведенческими фьючерсами", - нас часто успокаивают напоминанием о том, что зеркало двустороннее. Успокаивающий бальзам "метаданных" заключается в том, что наша информация в равной степени анонимизирована и обезличена для тех, кто на ней наживается. Нам говорят, что никто не читает содержание ваших писем, а только то, с кем вы переписываетесь и как часто. Они не анализируют ваши разговоры, просто отмечают тон вашего голоса. Ваше имя, лицо и цвет кожи не отслеживаются, только почтовый индекс. Это, конечно, не из уважения к частной жизни, а скорее следствие философии самосознания, которая характеризует информационные технологии с первых дней кибернетики - представления о том, что человека можно описать исключительно в терминах шаблонов и вероятностей, без какой-либо заботы о внутреннем мире. Как отмечается в исследовании MIT, посвященном моделям человеческого поведения, невозможно определить "внутренние состояния человека", поэтому прогнозы должны опираться на "косвенный процесс оценки", глядя на различные внешние состояния, которые можно измерить и оценить количественно. Зубофф утверждает, что капитализм наблюдения часто ошибочно идентифицируется как форма тоталитаризма, который стремится переделать душу гражданина изнутри наружу. Но доктрина цифрового наблюдения не интересуется душой. В идеологии, которая не верит в мысли, не может быть "мыслепреступлений". "Ей все равно, во что вы верите. Ему все равно, что вы чувствуете", - говорит Зубофф об этой доктрине. "Ее не волнует, куда вы идете, что вы делаете или что читаете". Вернее, эти действия интересуют его только с точки зрения того, "что он может получить в качестве сырья, превратить в поведенческие данные и использовать в качестве прогнозов для своего рынка".