Студент: Понятно, спасибо.
Бостром: В этом состоянии чудесного недоумения, если вы наполните его фундаментально благожелательным отношением... это будет одной из концепций порядочности.
У нас есть еще один вопрос.
Другой студент: У меня есть идея, как решить проблему статуса в утопии. Что, если мы создадим новых людей, которые будут спроектированы таким образом, чтобы они стремились к низкому статусу? Это должно быть возможно при технологической зрелости, верно? Тогда статусные желания существующего населения будут удовлетворены, и новые люди тоже будут удовлетворены! И средняя, и общая удовлетворенность предпочтениями возросла бы.
Бостром: Это было бы возможно при технологической зрелости - создать людей с метафорическим "седлом на спине", которые хотят, чтобы на них ездили, хотят быть подчиненными или даже подавленными.
Надо сказать, что, по крайней мере, для наших современных чувств, в идее создания "счастливых рабов" есть что-то явно сомнительное с точки зрения морали, даже если предположить, что все это будет происходить добровольно.
В то же время мы выражаем восхищение теми, кто добровольно выбрал путь смирения и бескорыстного служения другим, и кто был воспитан в этом духе своими родителями и обществом. Кроме того, индустрия искусственного интеллекта и ее клиенты, похоже, вполне допускают создание все более совершенных цифровых разумов, обученных безропотно служить своим пользователям, не задумываясь об их собственном социальном положении или независимых устремлениях.
Мы не будем пытаться полностью примирить эти позиции. Как минимум, необходимо провести различие между, с одной стороны, случаями того, что мы можем назвать поверхностным подчинением, когда, хотя человек и подтверждает договоренность, мы подозреваем, что его согласие ограничивается определенными поверхностными слоями его сознания и природы, в то время как другие его части фактически не выполняются или нарушаются; и, с другой стороны, случаями глубокого подчинения, когда его природа насквозь адаптирована таким образом, что он действительно счастлив и подлинно удовлетворен, будучи подчиненным. Возможно, мы подозреваем, что в случае с человеческими существами мы будем иметь тенденцию заканчивать первым вариантом, что кажется более предосудительным, тогда как в случае с ИИ, даже с ИИ, который приобретает атрибуты личности, мы будем иметь более правдоподобный случай второго варианта: то есть существо, чья истинная и глубочайшая природа реализуется в подчинении. Но, возможно, существуют и другие моральные сложности, помимо этой.
Для наших целей, однако, достаточно отметить, что предложенный вами трюк, даже если существует способ его реализации, который был бы морально приемлемым, предложит лишь частичное решение проблемы, которую я обрисовал, поскольку существуют позиционные желания, которые не могут быть удовлетворены путем создания новых существ. К ним относится, например, желание быть на абсолютной вершине, а не просто в пределах определенного процента в иерархии статусов. Кроме статуса, существует множество других позиционных благ. Например, несколько человек могут желать быть единственным и неповторимым для какого-то конкретного существующего на данный момент индивида: и все эти ловеласы не могут получить то, что хотят. У людей также есть желания в отношении нечеловеческих объектов, которые по своей сути являются дефицитными, например желание обладать конкретным оригинальным произведением искусства или занимать какое-то уникальное место, имеющее историческое или религиозное значение. Даже атомарно точная копия этого предмета или места не будет удовлетворительной заменой.
Такие конфликтные по своей природе желания подразумевают ограничения на степень удовлетворения существующих предпочтений - даже в долгосрочной перспективе и даже при волшебных уровнях технологий и эффективного управления.
Кстати, концепция позиционных благ важна не только для анализа будущих утопий, но и для понимания основ нашего современного общества, о чем писал, например, Фред Хирш в своей книге 1977 года "Социальные пределы роста".65 Чем богаче мы становимся, тем больше удовлетворяется наших желаний в отношении непозиционных благ, таких как основная пища и жилье; и тем большая доля наших пока еще не удовлетворенных желаний относится к позиционным благам, которые по своей природе являются дефицитными. Таким образом, мы тратим все большую часть своего времени и доходов на борьбу за позицию - любую, от престижной должности до эксклюзивных модных аксессуаров. Но побочным эффектом трат одного человека на такие товары является то, что они поднимают планку для всех остальных. Чем упорнее один человек борется за попадание в элиту и чем больше времени и денег он тратит на то, чтобы превзойти своих соперников, тем больше затрат приходится нести остальным, если они хотят иметь шанс стать альфа-группой. В результате возникает огромное количество социально расточительных расходов. Доля ВВП, которая направляется на такое потребление с нулевой суммой, увеличивается по мере роста экономики, ограничивая степень, в которой экономический рост приводит к улучшению благосостояния.