Как и советские лидеры в Москве, технологические компании не открывали какую-то истину о людях; они навязывали нам новый извращенный порядок. Люди - очень сложные существа, и доброкачественные социальные порядки ищут способы культивировать наши достоинства, сдерживая при этом наши негативные наклонности. Но алгоритмы социальных сетей рассматривают нас просто как мину для привлечения внимания. Алгоритмы свели многогранную гамму человеческих эмоций - ненависть, любовь, возмущение, радость, замешательство - в одну общую категорию: вовлеченность. В Мьянме в 2016 году, в Бразилии в 2018 году и во многих других странах алгоритмы оценивали видео, посты и прочий контент исключительно в зависимости от того, сколько минут люди занимались этим контентом и сколько раз они поделились им с другими. Час лжи или ненависти оценивался выше, чем десять минут правды или сострадания - или час сна. Тот факт, что ложь и ненависть, как правило, психологически и социально разрушительны, в то время как правда, сострадание и сон необходимы для благополучия человека, совершенно не учитывался алгоритмами. Основываясь на таком узком понимании человечества, алгоритмы помогли создать новую социальную систему, которая поощряла наши самые низменные инстинкты и не давала нам реализовать весь спектр человеческого потенциала.
По мере того как пагубные последствия становились очевидными, технологических гигантов неоднократно предупреждали о происходящем, но они не вмешивались из-за своей веры в наивный взгляд на информацию. Когда платформы захлестнула ложь и возмущение, руководители компаний надеялись, что если дать возможность большему числу людей выражать свое мнение более свободно, то правда в конце концов восторжествует. Однако этого не произошло. Как мы уже не раз убеждались на протяжении истории, в полностью свободной информационной борьбе правда, как правило, проигрывает. Чтобы склонить баланс в пользу правды, сети должны разработать и поддерживать сильные механизмы самокоррекции, которые вознаграждают за правдивые высказывания. Эти механизмы самокоррекции требуют больших затрат, но если вы хотите получить правду, вы должны в них инвестировать.
Кремниевая долина считала, что на нее не распространяется это историческое правило. Платформам социальных сетей не хватало механизмов самокоррекции. В 2014 году в Facebook работал всего один модератор контента, говорящий на бирманском языке, который следил за деятельностью во всей Мьянме.15 Когда наблюдатели в Мьянме начали предупреждать Facebook о необходимости вкладывать больше средств в модерацию контента, Facebook проигнорировал их. Например, Пвинт Хтун, американский инженер-бирманец и руководитель телекоммуникационной компании, выросший в сельской местности Мьянмы, неоднократно писал руководителям Facebook об опасности. В электронном письме от 5 июля 2014 года - за два года до начала кампании по этнической чистке - она сделала пророческое предупреждение: "Трагично, но FB в Бирме используется так же, как радио в Руанде в темные дни геноцида". Facebook не предпринял никаких действий.
Даже после того, как нападения на рохинджа усилились и Facebook столкнулся с бурей критики, он все равно отказался нанимать людей с экспертным знанием местности для курирования контента. Так, получив информацию о том, что разжигатели ненависти в Мьянме используют бирманское слово "калар" в качестве расистского обозначения рохинья, Facebook в апреле 2017 года отреагировал на это запретом любых постов, в которых использовалось это слово. Это показало полное отсутствие у Facebook знаний о местных условиях и бирманском языке. В бирманском языке "калар" является расистским оскорблением только в определенных контекстах. В других контекстах это совершенно невинный термин. Бирманское слово, обозначающее стул, - kalar htaing, а слово, обозначающее нут, - kalar pae. Как написал Пвинт Хтун в Facebook в июне 2017 года, запретить термин kalar на платформе - все равно что запретить буквы "hell" в слове "hello". Facebook продолжал игнорировать необходимость в местной экспертизе. К апрелю 2018 года число носителей бирманского языка, которых Facebook наняла для модерации контента для восемнадцати миллионов пользователей в Мьянме, составляло всего пять человек.
Вместо того чтобы инвестировать в механизмы самокоррекции, которые вознаграждали бы за правдивую информацию, гиганты социальных сетей разработали беспрецедентные механизмы, усиливающие ошибки, которые вознаграждали ложь и вымыслы. Одним из таких механизмов, увеличивающих количество ошибок, стала программа Instant Articles, которую Facebook запустил в Мьянме в 2016 году. Желая повысить вовлеченность, Facebook платил новостным каналам в зависимости от количества привлеченных ими пользователей, измеряемого в кликах и просмотрах. При этом правдивости "новостей" не придавалось никакого значения. Исследование 2021 года показало, что в 2015 году, до запуска программы, шесть из десяти лучших сайтов Facebook в Мьянме принадлежали "законным СМИ". К 2017 году под воздействием Instant Articles "легальные СМИ" сократились до двух сайтов из первой десятки. К 2018 году все десять лучших сайтов стали "фальшивыми новостями и сайтами-приманками".