Попробуем разобраться в причинах этого скрытого беспокойства. Вот одна из возможных линий рассуждений, которая может побуждать задавать вопросы о жизни после успеха ИИ:
В настоящее время и на протяжении всей истории человечества существует множество неотложных задач, которые мы должны решать сами, и множество серьезных проблем, с которыми мы сталкиваемся вместе. Эти задачи и проблемы придают нашей жизни структуру, цель и смысл. Но технический прогресс (и, в более ограниченной степени, накопление капитала) позволяет нам достичь большего количества желаемого с меньшими усилиями. В пределе, при совершенных технологиях и изобилии капитала, мы сможем получить все, что захотим, не прилагая никаких усилий. Тогда нам не к чему будет стремиться. Тогда мы либо сойдем с ума от скуки, либо превратимся в "капельки удовольствия", пассивные умы, испытывающие искусственно вызванное чувство удовлетворения. В любом случае нас ждет антиутопическое будущее.
И это в самом лучшем случае! Вряд ли, например, нас успокоит, если мы скажем, что нам не нужно беспокоиться о глубоком резервировании, потому что наша высокотехнологичная цивилизация рухнет в результате катаклизма, прежде чем мы достигнем технологической зрелости.
В основе аргументации лежит пессимистичный взгляд на человеческую природу. По сути, мы не способны жить в идеальном мире.
Я даже могу дать объяснение, почему это так. В эволюционном и историческом масштабе внешние инструментальные ограничения всегда были в достатке, и наша психика, следовательно, формировалась таким образом, что предполагала их наличие. Наши предки-обезьяны, чей рацион состоял из большого количества фруктов, утратили способность синтезировать витамин С, и это породило зависимость, которая проявилась лишь много позже, в совершенно иных обстоятельствах, например, когда моряки месяцами питались морскими галетами, а потом оказались томимы цингой. Аналогичным образом мы могли стать зависимыми, столкнувшись с необходимостью умственных и физических нагрузок и стремления к достижению цели. Такое внешнее давление, вынуждающее прилагать усилия для удовлетворения инструментальных потребностей, не только поддерживает наше тело в форме, но и помогает придать форму более мягким частям нашей души, скорее как духовная версия экзоскелета, который структурирует и содержит внутренности жука. Если бы этот экзоскелет принудительного труда был снят, то после перехода в постинструментальное состояние, в котором наши желания могут быть удовлетворены без особых усилий, мы бы пережили плачевное вырождение и распад, превратившись либо в существа безграничной скуки, либо в аморфные сгустки искусственно вызванного довольства.
Вы можете уловить в предыдущем аргументе нотки парадокса.
С одной стороны, у нас, конечно, есть причины стремиться к развитию технологических возможностей, которые позволяют нам получать больше желаемого с меньшими усилиями. Это почти часть определения рациональности: человек ищет эффективные средства для достижения своих целей. Конечно, наше общество прилагает огромные усилия для развития технологического и экономического прогресса, и мы вручаем награды людям, которые добиваются этого.
Но, с другой стороны, если и когда наши усилия по повышению эффективности достижения целей увенчаются успехом, мы, предположительно, войдем в состояние, когда либо нам будет смертельно скучно, либо мы станем пассивными получателями наркотического удовлетворения.
Ни одна из альтернатив не кажется привлекательной.
Итак, похоже, что у нас есть причины работать над достижением состояния Х и что будет очень плохо, если мы достигнем Х. Другими словами, вывод напрашивается сам собой: мы должны направить огромные ресурсы на достижение чего-то и в то же время отчаянно надеяться на то, что у нас ничего не получится. Это не совсем логическое противоречие, но, конечно, странное положение.
Защита с пятью кольцами
К счастью, есть несколько вещей, которые можно сказать в ответ: различные элементы, на которые мы можем указать, которые могут присутствовать в жизни, прожитой на уровне технологической зрелости, и которые могут сделать такую жизнь очень хорошей. И хотя ни один из этих ответов сам по себе не может быть полностью удовлетворительным, в совокупности они, как мне кажется, имеют признаки адекватного ответа на проблему избыточности и связанный с ней парадокс прогресса.