Три важных слова пришли мне на ум, пока я писал книгу: экспоненциальный, комбинаторный и рекурсивный.
1. Экспоненциальный. Технологии развиваются экспоненциально. Несмотря на то что микрочипы, будучи подчинены основным законам физики, не могут бесконечно уменьшаться в размерах, технологический прогресс во многом еще совершается в соответствии с законом Мура12. Кривая производительности микропроцессоров демонстрирует экспоненциальный рост, а не линейный или постепенный, как люди привыкли считать. Это представляет определенные сложности для понимания: технологии развиваются экспоненциально, а люди (я надеюсь!) остаются заложниками линейности.
2. Комбинаторный. Разные проявления технологического прогресса комбинируются и интегрируются. Такие инновационные технологии, как машинный интеллект, глубокое обучение, интернет вещей и редактирование генома, начинают пересекаться и дополнять друг друга. Они больше не применяются только в узкоспециализированных сферах – напротив, уже во многих секторах можно наблюдать долгоиграющие последствия их применения. Технологии CRISPR-Cas9[13], применяющиеся при редактировании генома, могут, к примеру, стать ключом к нахождению лекарства от рака и значительно увеличить продолжительность жизни13. Такие технологии смогут перевернуть всю систему здравоохранения, социального страхования и вообще капитализма, каким мы его знаем сейчас.
3. Рекурсивный. Такие технологии, как ИИ, когнитивные вычисления и глубокое обучение, смогут в дальнейшем привести к рекурсивным (т. е. самоусилительным) усовершенствованиям (т. е. усовершенствованиям систем самих себя). Уже можно, к примеру, наблюдать первых роботов, которые могут сами себя обновлять и перепрограммировать и контролировать состояние энергосети, от которой зависит их функционирование. Все это может привести к так называемому взрыву интеллекта. Профессор Оксфордского университета Ник Бостром утверждает, что подобный прогресс может привести к возникновению суперинтеллекта – систем ИИ, которые смогут обучаться быстрее людей и интеллектуально превзойти нас во всех смыслах14. Если мы можем создать ИИ с уровнем IQ 50, что же остановит нас от разработки ИИ с IQ 50 000 и что произойдет, если мы это сделаем?
К счастью, суперинтеллект еще не является предметом для беспокойства в нашем ближайшем будущем. Однако у нас и без него проблем хватает: отслеживание нашей жизни в интернете, скрытые камеры повсеместно, ослабление конфиденциальности, потеря анонимности, хищение электронных личных данных, цифровая безопасность. Поэтому я и считаю, что основа для будущего (оптимистичного или антиутопического) закладывается здесь и сейчас.
Мы находимся на критически важном этапе и должны целостно оценивать ситуацию и проявлять большую дальновидность в наших действиях, осуществляя строгий надзор за технологиями, которые могут в дальнейшем получить над нами бо́льшую власть, чем мы могли себе представить.
Мы больше не можем позволить себе существовать по принципу «поживем – увидим», если и дальше хотим сохранять контроль над своей жизнью и ее развитием. Вопрос, заслуживающий нашего внимания, заключается в том, чтобы оставаться и в будущем людьми, пока мы будем заниматься развитием технологий, изменяющим человечество навсегда.
Мы не должны позволять свободным рынкам, предпринимателям и военным организациям принимать решения за нас. Будущее человечества не должно строиться в соответствии с устаревшими порядками индустриального общества восьмидесятых годов, в котором за высшее благо почитались прибыль и рост любой ценой. Несмотря на то что технологии являются источниками огромных доходов и генерируют значительную прибыль, ни Кремниевая долина, ни наиболее технологизированные страны не должны становиться «центром управления человечества».
К счастью, в настоящее время еще соблюдается принцип 90/10: 90 % возможностей, которые открывают нам новые технологии, могут пойти на пользу человечеству, в то время как лишь 10 % уже оцениваются как негативные и вызывают беспокойство. Если нам удастся и дальше сохранить этот баланс или даже поднять соотношение до 98/2, то наши усилия будут не напрасны. В то же время эти проблемные 10 % могут быстро возрасти до 50 % (например, по неосторожности) или выше, если мы не придем к согласию по поводу того, как именно будем использовать технологии на благо человечества. Как видим, сейчас точно не самое лучшее время, чтобы пускать ситуацию на самотек и отстраненно наблюдать за ее развитием.
13