Две тысячи лет спустя, когда промышленная революция делала первые шаги, а машины начали заменять человека во многих сферах деятельности, Иоганн Вольфганг фон Гете опубликовал похожую поучительную историю под названием "Ученик колдуна". В стихотворении Гете (впоследствии ставшем популярным мультфильмом Уолта Диснея с Микки Маусом в главной роли) рассказывается о том, как старый колдун оставляет молодого подмастерья за главного в своей мастерской и поручает ему на время своего отсутствия несколько дел, например, приносить воду из реки. Подмастерье решает облегчить себе задачу и, используя одно из заклинаний колдуна, заколдовывает метлу, чтобы она приносила ему воду. Но подмастерье не знает, как остановить метлу, которая неустанно набирает все больше и больше воды, угрожая затопить мастерскую. В панике подмастерье разрубает заколдованную метлу топором надвое, и каждая половина превращается в другую метлу. Теперь две заколдованные метлы заливают мастерскую водой. Когда старый колдун возвращается, подмастерье умоляет его о помощи: "Духи, которых я вызвал, теперь не могут от меня избавиться". Колдун немедленно снимает заклятие и останавливает потоп. Урок для ученика и для всего человечества очевиден: никогда не вызывайте силы, которые вы не можете контролировать.
Что говорят нам предостерегающие басни об ученике и Фаэтоне в XXI веке? Мы, люди, очевидно, не прислушались к их предупреждениям. Мы уже вывели климат Земли из равновесия и призвали миллиарды заколдованных метл, дронов, чатботов и других алгоритмических духов, которые могут выйти из-под нашего контроля и вызвать поток непредвиденных последствий.
Что же нам делать? Басни не дают никаких ответов, кроме как ждать, что нас спасет какой-нибудь бог или волшебник. Это, конечно, очень опасное послание. Он побуждает людей отказываться от ответственности и верить в богов и колдунов. Хуже того, он не учитывает, что боги и волшебники сами по себе являются человеческим изобретением - так же, как колесницы, метлы и алгоритмы. Тенденция создавать мощные вещи с непредвиденными последствиями началась не с изобретения парового двигателя или искусственного интеллекта, а с изобретения религии. Пророки и богословы неоднократно вызывали могущественных духов, которые должны были принести любовь и радость, но в итоге заливали мир кровью.
Миф о Фаэтоне и поэма Гете не дают полезных советов, потому что неверно понимают, как люди обретают власть. В обеих баснях один человек обретает огромную власть, но затем оказывается испорчен гордыней и жадностью. Вывод заключается в том, что наша несовершенная индивидуальная психология заставляет нас злоупотреблять властью. Этот грубый анализ упускает из виду, что человеческая власть никогда не является результатом индивидуальной инициативы. Власть всегда проистекает из сотрудничества большого количества людей.
Соответственно, не наша индивидуальная психология заставляет нас злоупотреблять властью. Ведь наряду с жадностью, высокомерием и жестокостью люди также способны на любовь, сострадание, смирение и радость. Правда, среди худших представителей нашего вида жадность и жестокость занимают главенствующее положение и заставляют злоупотреблять властью. Но почему человеческие общества предпочитают доверять власть своим худшим представителям? Например, большинство немцев в 1933 году не были психопатами. Так почему же они голосовали за Гитлера?
Наша склонность призывать силы, которые мы не можем контролировать, проистекает не из индивидуальной психологии, а из уникального способа, которым наш вид сотрудничает в больших количествах. Главный аргумент этой книги заключается в том, что человечество обретает огромную власть, создавая крупные сети сотрудничества, но способ построения этих сетей предрасполагает к неразумному использованию власти. Таким образом, наша проблема - это проблема сети.
Если говорить более конкретно, то это проблема информации. Информация - это клей, который скрепляет сети. Но на протяжении десятков тысяч лет сапиенсы создавали и поддерживали крупные сети, придумывая и распространяя вымыслы, фантазии и массовые заблуждения - о богах, о заколдованных метлах, об искусственном интеллекте и о множестве других вещей. В то время как каждый отдельный человек обычно заинтересован в том, чтобы знать правду о себе и о мире, большие сети связывают членов и создают порядок, полагаясь на вымыслы и фантазии. Именно так мы пришли, например, к нацизму и сталинизму. Это были исключительно мощные сети, удерживаемые вместе исключительно бредовыми идеями. Как сказал Джордж Оруэлл, невежество - это сила.