Официальное название команды претерпело множество изменений, что, возможно, свидетельствует о том, что Facebook было некомфортно заниматься самыми сложными вопросами. "Противоборствующие вредоносные сети" стали "сообществами вредоносных тем", "нерекомендуемыми теориями заговора", "ненарушаемыми вредоносными нарративами" и - на момент написания статьи - "координированным социальным вредом".
Как бы ни называлась команда, стратегия была одинаковой. После акций "Остановить воровство" и "Партия патриотов" компания начала перенаправлять свои обширные инструменты анализа данных на понимание внутренней работы движений, которые выглядели как проблемы. Этот милый щенок корги был настроен на дело.
Собрав данные о поведении и действиях 700 000 сторонников Stop the Steal, Facebook выявил связи между ними и начал делить их на главарей (тех, кто создавал контент и стратегию), усилителей (известные аккаунты, которые распространяли эти сообщения), связующих (активисты, работающие в нескольких сообществах, например, против ваксы и QAnon) и, наконец, "восприимчивых пользователей" (тех, чьи социальные круги казались "воротами" к радикализму).
Вместе это скопление пользователей превратилось в "информационный коридор". Сообщения, зародившиеся среди элиты движения, пульсировали по каналам, соединяющим пользователей и продукты Facebook, а каждый репост, ответ и реакция распространяли их среди все более широкой аудитории. Со временем эти скрытые векторы стали хорошо отработанными, почти рефлекторными, способными передавать все более странные вещи в беспрецедентных масштабах.
Анализ показал, что распространение ненависти, насилия и дезинформации происходило по информационному коридору Stop the Steal со значительно большей скоростью, чем по платформе в целом. Но Facebook больше не пытался отфильтровать плохие материалы. Вместо этого он стремился выявить и перекрыть линии передачи информации.
В работе использовалось много статистики и машинного обучения, но основные принципы понять было несложно. Чтобы уничтожить движение, нужно сразу убить всех главарей, лишив движение мозга. На их лейтенантов, которые, скорее всего, попытаются заменить своих лидеров в ходе "ответной реакции" на удаление, можно наложить строгие ограничения на создание новых страниц, групп и постов. Усилители и связующие звенья могут быть просто ослаблены путем понижения рейтинга. И, наконец, компания будет стремиться предотвратить формирование связей между "восприимчивыми" людьми, при этом рекомендации Facebook будут активно отводить их от контента и пользователей, которые могут завести их еще глубже в кроличью нору, куда бы они ни заглянули.
Команда провела эксперименты с этими предложениями, используя модель, основанную на исторических данных Stop the Steal. Результаты показали, что этот подход сработал бы, поставив на колени движение в Facebook задолго до 6 января. "Информационные коридоры" могли бы помочь нам выявить социальное движение вокруг делегитимации из массива индивидуально зашумленных текстовых сигналов", - говорится в одной из записок, озаглавленной "Информационные коридоры: Краткое введение". Из других документов, которыми поделился со мной Хауген, также следовало, что Facebook была уверена в том, что могла бы предотвратить "рост делегитимизирующих выборов движений, которые росли, распространяли заговор и помогали подстрекать к восстанию в Капитолии".
Энтузиазм по поводу этого подхода был настолько велик, что Facebook создал целевую группу по дезагрегированию сетей, чтобы продвигать его дальше. Компания прошла путь от разрешения процветать конспирологическим группам всех мастей до крайней озабоченности тем, как люди оказываются втянутыми. На одном из координационных совещаний, в котором участвовал Хауген, глава целевой группы отметил, что в компании двенадцать различных команд, работающих над методами не только разрушения руководства вредных движений, но и прививки потенциальных последователей от них. "Они уязвимы, и мы должны их защитить", - заявил руководитель проекта в ходе звонка о "восприимчивой" аудитории.
Это обеспокоило Хауген, прогрессивного демократа с либертарианскими взглядами, из тех сотрудников, которые имеют привычку посещать Burning Man. Она поняла, что Facebook перешел от преследования опасных субъектов к преследованию опасных идей, создавая системы, способные тихо задушить движение, находящееся в зачаточном состоянии. Она услышала отголоски "полиции мысли" Джорджа Оруэлла. По ее мнению, это становилось жутким и ненужным.