В центре нашего разговора были ускорение технологического прогресса и перемены в образе жизни людей, свидетельствующие о приближении существенной сингулярности в истории рода человеческого, такой сингулярности, после которой дела людские в том виде, в котором они нам известны, продолжаться уже не смогут.
Видите, фон Нейман даже использует термин «сингулярность», хотя, мне кажется, он все же думает об обычном прогрессе, а не о создании сверхчеловеческого интеллекта. (Для меня сутью Сингулярности является именно сверхчеловеческая ее природа. Без нее мы просто получим изобилие технической роскоши, толком так и не усвоенной (см. [24])).
В 1960-х годах уже были осознаны некоторые следствия появления сверхчеловеческого интеллекта. И. Дж. Гуд писал [10]:
Назовем ультраинтеллектуальной машину, далеко превосходящую в интеллектуальной деятельности любого человека, как бы умен он ни был. Поскольку проектирование машин также является такой деятельностью, то ультраинтеллектуальная машина сможет проектировать машины еще лучшие, что, без сомнения, станет «интеллектуальным взрывом», который оставит интеллект человека далеко позади. Таким образом, первая ультраинтеллектуальная машина будет последним изобретением, которое придется сделать человеку, – при условии, что эта машина будет достаточно любезна, чтобы рассказать нам, как удержать ее под контролем. …И скорее всего, в двадцатом столетии такая ультраинтеллектуальная машина будет построена и окажется последним изобретением, которое придется сделать человеку.
Гуд понял суть процесса, но не стал разрабатывать его наиболее тревожные последствия. Никакая интеллектуальная машина того сорта, что он описывает, не станет «орудием» человечества – точно так, как сами люди не являются орудиями кроликов, птиц или шимпанзе.
В шестидесятых-семидесятых-восьмидесятых предвидение этого катаклизма стало более распространенным [28], [1], [30], [4]. Вероятно, первыми поняли его конкретные проявления авторы научной фантастики. В конце концов, именно авторы «твердой» НФ пытаются писать произведения о том, что конкретно может с нами сделать технология. Все чаще эти авторы натыкались на непрозрачную стену, отделяющую от нас будущее. Когда-то они могли относить подобные фантазии на миллионы лет вперед [23]. Сегодня же они увидели, что их самые тщательные экстраполяции обещают непознаваемое уже в ближайшем будущем. Когда-то постчеловеческую эпоху казалось правильным относить к временам галактических империй. Сейчас, к сожалению, ее можно отнести и к временам межпланетных.
Что можно сказать о девяностых, нулевых, десятых с точки зрения приближения к этой границе? Как приближение Сингулярности повлияет на человеческое мировоззрение?
Какое-то время вполне уважаемой точкой зрения будет скептицизм по отношению к самой возможности существования «машины сапиенс». В конце концов, глупо ведь думать, что мы сможем создать интеллект, эквивалентный человеческому (или даже превосходящий его), пока у нас не будет аппаратуры такой же мощной, как человеческий мозг. (Существует умозрительная возможность того, что можно создать эквивалент человека на менее мощной аппаратной базе, если поступиться скоростью, удовлетвориться искусственным существом, тормозным в буквальном смысле слова [29]. Но почти наверняка разработка нужного программного обеспечения окажется непростым процессом, с множеством фальстартов, проб и ошибок. Если так, то появление машин с самосознанием не произойдет до тех пор, пока не появится аппаратная база, существенно более мощная, чем естественная человеческая.)
Но с течением времени нельзя будет не обратить внимания на новые симптомы. Дилемма, ощущаемая авторами научной фантастики, станет существенной в других творческих работах. (Я слышал, что авторы комиксов беспокоятся о том, как создавать зрелищные эффекты, когда все видимое может быть воспроизведено обычными техническими средствами.) Мы увидим автоматизацию все более и более сложных работ и рабочих мест. Даже сейчас у нас есть инструменты (математические программы, автоматизация проектирования и производства), освобождающие нас почти от всей низкоуровневой рутины). Формулируя иначе: по-настоящему продуктивная работа становится сферой занятий все меньшей и все более элитной части человечества. В наступающей Сингулярности мы увидим, как наконец осуществляются предсказания истинной технологической безработицы.