В середине 2000-х годов, когда Facebook и другие социальные сети стали настолько заметны, они приобретали все большее значение для разведывательного сообщества . Информация из открытых источников всегда была целью для сбора разведданных. На память приходят старые фотографии советских аналитиков, читающих "Правду". На протяжении десятилетий ЦРУ финансировало Службу информации иностранного вещания, более известную под инициалами FBIS, которые произносятся как "фибис", за переводы иностранных газет и телепередач. Они пользовались большим спросом не только у правительственных аналитиков, но и у аналитических центров и университетских исследователей.
Но социальные сети предложили нечто новое. Это был способ узнать, что думают и делают реальные люди в режиме реального времени. Это давало возможность оценить не только мнение элиты, но и народные настроения. Энди Робертс был назначен ответственным за эту работу в Разведывательном управлении Министерства обороны. Он описал социальные сети как новую форму разведки с открытым исходным кодом, или OSINT. Он объяснил нам: "Многие молодые офицеры начали осознавать силу, стоящую за этим, особенно со стороны социальных сетей. И в течение, я бы сказал, примерно года, общаясь с командованиями [комбатантов], со службами, с людьми из разведывательного сообщества в целом, [мы] поняли, что нам действительно нужно создать основу".
Но осознать потребность и сделать ее реальной - две разные вещи. Робертс рассказал о перетягивании ресурсов в своей собственной организации. "Это, без шуток, было моей самой большой проблемой до самого конца: преобладающая мудрость заключалась в том, что это открытый исходный код. Это не стоит денег. Знаете, я могу пойти домой и найти это в Google. Вначале мне действительно многие старшие говорили это, и только после того, как мы провели активную кампанию, пытаясь донести до людей, что это не старый OSINT".
Далее он описал таланты, инструменты и создание новой дисциплины разведки. Он рассказал о наборе новой рабочей силы, которая не заинтересована в ношении галстуков на работу. Он говорил о необходимости использования машинного обучения и искусственного интеллекта для отсеивания пшеницы от плевел.
Помогая создать новую дисциплину разведки в сообществе, где есть соперники и скептики, он так описал свою задачу: "Это буквально как перебирать множество стогов сена, чтобы найти то, что вы хотите искать".
Все находятся в поисках неуловимой иглы.
Еще одним новшеством эпохи 11 сентября стало использование Интернета для использования мудрости толпы. Подобно тому, как информация из открытых источников оказалась бесценным дополнением к сокровищнице разведки, другие представители разведывательного сообщества экспериментировали с идеей о том, что информированные наблюдатели могут так же хорошо заглядывать в будущее, как и эксперты, а возможно, даже лучше. Деятельность по перспективным исследовательским проектам в области разведки, более известная под своей аббревиатурой IARPA, является одним из мест, где проводились такие эксперименты.
IARPA возникла как часть реформ, проведенных после 11 сентября. Идея заключалась в том, что в информационную эпоху разведывательному сообществу необходимы те же технологические достижения, которыми так долго гордилось Министерство обороны. Министерство обороны имело Агентство перспективных оборонных исследовательских проектов (DARPA), которое славилось тем, что шло на риск и создавало прорывные технологии, включая ARPAnet, предшественника современного интернета. Была надежда, что IARPA сможет сделать то же самое для разведывательного сообщества.
Попытки IARPA улучшить методы прогнозирования и применить аналитику больших данных к другим проблемам принесли потрясающие успехи - в том числе случаи, когда математики и инженеры по обработке данных оказывались лучше в прогнозировании, чем эксперты разведки.
Для того, чтобы аналитики были в тонусе, руководство IARPA регулярно устраивало "соревнования по предсказаниям", предлагая в качестве приза бесплатную пиццу.
IARPA также спонсировала масштабное многолетнее соревнование, направленное на проверку новых методов прогнозирования. Подробности хорошо изложены в книге Филипа Тетлока "Суперпрогнозирование: Искусство и наука предсказания". Именно Тетлок высказал ставшую знаменитой фразу о прогнозировании: "Средний эксперт был примерно так же точен, как шимпанзе, бросающий дротики". За фразой Тетлока о шимпанзе скрывается гораздо более длинная история, но можно резюмировать, что многие в предсказательном бизнесе работают немногим лучше среднего. Похожая логика приводит инвесторов к фондам, которые представляют крупные сегменты рынка, а не отдельные акции.