Во-первых, мощь ИИ может усилить существующие человеческие конфликты, разделив человечество против него самого. Как в двадцатом веке "железный занавес" разделял соперничающие державы в холодной войне, так и в двадцать первом веке "кремниевый занавес", сделанный из кремниевых чипов и компьютерных кодов, а не из колючей проволоки, может разделить соперничающие державы в новом глобальном конфликте. Поскольку гонка вооружений ИИ будет создавать все более разрушительное оружие, даже маленькая искра может привести к катаклизмическому взрыву.
Во-вторых, "силиконовый занавес" может отделить не одну группу людей от другой, а всех людей от наших новых владык ИИ. Где бы мы ни жили, мы можем оказаться в паутине непостижимых алгоритмов, которые управляют нашей жизнью, формируют нашу политику и культуру и даже перестраивают наши тела и сознание, в то время как мы уже не можем понять, что за силы управляют нами, не говоря уже о том, чтобы остановить их. Если тоталитарной сети XXI века удастся завоевать мир, ею может управлять не человек-диктатор, а нечеловеческий интеллект. Люди, которые выделяют Китай, Россию или постдемократические Соединенные Штаты в качестве основного источника тоталитарных кошмаров, неправильно понимают опасность. На самом деле тоталитарный потенциал нечеловеческого интеллекта угрожает и китайцам, и русским, и американцам, и всем остальным людям.
Учитывая масштабы опасности, ИИ должен интересовать всех людей. Хотя не каждый может стать экспертом в области ИИ, мы все должны помнить, что ИИ - это первая в истории технология, которая может самостоятельно принимать решения и создавать новые идеи. Все предыдущие изобретения человека расширяли его возможности, потому что, каким бы мощным ни был новый инструмент, решения о его использовании всегда оставались в наших руках. Ножи и бомбы сами не решают, кого убивать. Это тупые инструменты, не обладающие интеллектом, необходимым для обработки информации и принятия самостоятельных решений. ИИ, напротив, обладает необходимым интеллектом, чтобы самостоятельно обрабатывать информацию и, следовательно, заменить человека в принятии решений.
Овладение информацией также позволяет ИИ самостоятельно генерировать новые идеи в самых разных областях - от музыки до медицины. Граммофоны воспроизводят нашу музыку, а микроскопы раскрывают секреты наших клеток, но граммофоны не могут сочинять новые симфонии, а микроскопы - синтезировать новые лекарства. ИИ уже способен самостоятельно создавать произведения искусства и совершать научные открытия. В ближайшие несколько десятилетий он, вероятно, обретет способность даже создавать новые формы жизни, либо написав генетический код, либо придумав неорганический код, оживляющий неорганические существа.
Даже сейчас, на эмбриональной стадии революции ИИ, компьютеры уже принимают за нас решения - выдать ли нам ипотечный кредит, взять ли нас на работу, отправить ли в тюрьму. Эта тенденция будет только усиливаться и ускоряться, усложняя понимание нашей собственной жизни. Можем ли мы доверить компьютерным алгоритмам принимать мудрые решения и создавать лучший мир? Это гораздо большая авантюра, чем доверить заколдованной метле принести воду. И мы ставим на карту не только человеческие жизни. ИИ может изменить ход не только истории нашего вида, но и эволюции всех форм жизни.