Социальные сети и скрепки
Интернет-цензура и даже высокотехнологичные шпионские программы могут ничего не сказать о потенциале социальных сетей как инструмента для улучшения политического дискурса и координации оппозиции самым худшим режимам в мире. То, что несколько диктатур использовали новые технологии для подавления своего населения, не должно никого удивлять. То, что Соединенные Штаты делают то же самое, также понятно, если вспомнить давнюю традицию беззакония их служб безопасности, которая только усилилась после "войны с террором". Возможно, решение заключается в том, чтобы удвоить усилия социальных сетей и позволить им иметь больше возможностей для общения и свободных сообщений, чтобы ярче освещать злоупотребления. Увы, нынешний путь социальных сетей с искусственным интеллектом представляется почти таким же губительным для демократии и прав человека, как и цензура в Интернете.
Притча о скрепках - любимый инструмент компьютерщиков и философов для подчеркивания опасностей, которые может представлять сверхинтеллектуальный ИИ, если его цели не будут полностью совпадать с целями человечества. Мысленный эксперимент предполагает наличие неудержимо мощной интеллектуальной машины, которая получает инструкции производить больше скрепок, а затем использует свои значительные возможности для достижения этой цели, придумывая новые методы превращения всего мира в скрепки. Когда речь идет о влиянии ИИ на политику, он может превратить наши институты в скрепки не благодаря своим превосходным возможностям, а из-за своей посредственности.
К 2017 году Facebook был настолько популярен в Мьянме, что его стали отождествлять с самим интернетом. Двадцать два миллиона пользователей при населении в пятьдесят три миллиона человек были благодатной почвой для дезинформации и языка вражды. Одна из самых этнически разнообразных стран в мире, Мьянма является домом для 135 официально признанных различных этносов. Ее военные, которые правят страной железным кулаком с 1962 года, с коротким периодом парламентской демократии под военным кураторством в период с 2015 по 2020 год, часто разжигают этническую ненависть среди большинства буддистского населения. Ни одна другая группа не подвергалась столь частым нападкам, как мусульмане рохинья, которых правительственная пропаганда изображает иностранцами, хотя они живут здесь уже несколько веков. Ненавистнические высказывания в адрес рохинья стали обычным явлением в контролируемых правительством СМИ.
Facebook появился в этой горючей смеси межнациональной напряженности и подстрекательской пропаганды в 2010 году. С тех пор она стремительно расширялась. В соответствии с верой Кремниевой долины в превосходство алгоритмов над людьми и несмотря на огромную базу пользователей, в Facebook работал только один человек, который следил за Мьянмой и говорил на бирманском, но не на большинстве из других ста или около того языков, используемых в стране.
В Мьянме язык ненависти и подстрекательство с самого начала были распространены на Facebook. В июне 2012 года высокопоставленный чиновник, близкий к президенту страны Тейн Сейну, разместил на своей странице в Facebook следующее:
Слышно, что рохинья-террористы из так называемой Организации солидарности рохинья пересекают границу и попадают в страну с оружием. То есть в страну прибывают рохинья из других стран. Поскольку наши военные получили эту новость заранее, мы будем искоренять их до конца! Я считаю, что мы уже делаем это.
Пост продолжал: "Мы не хотим слышать о гуманитарных вопросах или правах человека от других". Этот пост не только разжигал ненависть к мусульманскому меньшинству, но и усиливал ложный нарратив о том, что рохинья проникают в страну извне.
В 2013 году буддийский монах Ашин Виратху, которого журнал Time в том же году назвал лицом буддийского террора, публиковал в Facebook сообщения, в которых называл рохинья вторгшимися иностранцами, убийцами и опасностью для страны. В конце концов он сказал: "Я принимаю термин "экстремист" с гордостью".
Призывы активистов и международных организаций к Facebook пресекать недостоверную информацию и подстрекательские посты продолжали расти. Один из руководителей Facebook признал: "Мы согласны, что можем и должны делать больше". Однако к августу 2017 года, что бы ни делал Facebook, этого было далеко недостаточно для контроля языка ненависти. Платформа стала главным средством организации того, что Соединенные Штаты в итоге назовут геноцидом.
Популярность языка вражды на Facebook в Мьянме не должна была стать сюрпризом. Бизнес-модель Facebook основана на максимизации вовлеченности пользователей, и любые сообщения, вызывающие сильные эмоции, включая, конечно, язык вражды и провокационную дезинформацию, предпочитаются алгоритмами платформы, поскольку они вызывают активное участие тысяч, иногда сотен тысяч пользователей.
Правозащитные группы и активисты еще в 2014 году обратились к руководству Facebook с обеспокоенностью по поводу растущего количества разжигания ненависти и совершаемых в результате этого злодеяний, но без особого успеха. Поначалу проблема игнорировалась, активисты упирались, в то время как количество ложной, подстрекательской информации против рохинджа продолжало расти. Так же как и свидетельства того, что на платформе организовывались преступления на почве ненависти, включая убийства мусульманского меньшинства. Хотя компания не хотела предпринимать значительных усилий для решения проблемы преступлений на почве ненависти, это не потому, что ей было наплевать на Мьянму. Когда правительство страны закрыло Facebook, руководители компании немедленно приступили к действиям, опасаясь, что отключение может оттолкнуть часть из двадцати двух миллионов пользователей в стране.
Facebook также удовлетворил требования правительства в 2019 году обозначить четыре этнические организации как "опасные" и запретить их на платформе. Эти сайты, хотя и связаны с этническими сепаратистскими группами, такими как Армия Аракана, Армия независимости Качина и Армия Национального демократического альянса Мьянмы, были одними из основных хранилищ фотографий и других доказательств убийств и других зверств, совершенных армией и экстремистскими буддийскими монахами.
Когда Facebook наконец отреагировал на давление, его решение заключалось в создании "стикеров" для идентификации потенциального языка ненависти. Стикеры позволяли пользователям размещать сообщения, содержащие вредный или сомнительный контент, но предупреждали их: "Подумайте, прежде чем поделиться" или "Не будьте причиной насилия". Однако оказалось, что алгоритм Facebook, подобно тупой версии программы ИИ, одержимой скрепками, был настолько нацелен на максимальное вовлечение, что регистрировал вредные сообщения как более популярные, поскольку люди вовлекались в контент, чтобы отметить его как вредный. Затем алгоритм рекомендовал этот контент более широко в Мьянме, что еще больше усугубляло распространение языка ненависти.
Уроки Мьянмы, похоже, не были хорошо усвоены Facebook. В 2018 году похожая динамика начала разыгрываться в Шри-Ланке: в Facebook появились посты, подстрекающие к насилию против мусульман. Правозащитные группы сообщали о разжигании ненависти, но безрезультатно. По оценке одного исследователя и активиста, "есть подстрекательства к насилию против целых сообществ, а Facebook говорит, что это не нарушает стандарты сообщества".
Два года спустя, в 2020 году, настала очередь Индии. Руководители Facebook проигнорировали призывы своих сотрудников и отказались удалить индийского политика Т. Раджа Сингха, который призывал расстреливать мусульманских иммигрантов рохинья и призывал к разрушению мечетей. Многие из них действительно были разрушены во время антимусульманских беспорядков в Дели в том году, в результате которых также погибло более пятидесяти человек.
Машина дезинформации
Проблемы языка вражды и дезинформации в Мьянме параллельны тому, как Facebook используется в США, и по той же причине: язык вражды, экстремизм и дезинформация вызывают сильные эмоции и увеличивают вовлеченность и время, проведенное на платформе. Это позволяет Facebook продавать более индивидуализированную цифровую рекламу.
Во время президентских выборов в США в 2016 году наблюдался заметный рост числа сообщений с недостоверной информацией или явно ложным содержанием. Тем не менее, к 2020 году 14 процентов американцев рассматривали социальные сети как основной источник новостей, а 70 процентов сообщили, что хотя бы часть новостей они получают из Facebook и других социальных сетей.
Эти истории были не просто побочным явлением. Исследование дезинформации на платформе показало, что "ложь распространялась значительно дальше, быстрее, глубже и шире, чем правда во всех категориях информации". Многие вопиюще ложные сообщения стали вирусными, потому что ими постоянно делились. Но не только пользователи распространяли ложь. Алгоритмы Facebook поднимали эти сенсационные статьи выше, чем менее политически значимые посты и информацию из надежных источников.