У этих понятий, пластичности и автопотенции, есть крайние случаи, которые я, несмотря на свою педантичность, не буду пытаться здесь точно очертить, поскольку они не имеют отношения к настоящему исследованию. Эта задача будет оставлена будущим экспликаторам.
Тессиус [шепчет]: Ваш пример с числом омега Хайтина указывает на один крайний случай, верно? Невозможно организовать нейроны для регистрации первой тысячи цифр, хотя сама констелляция, очевидно, физически возможна. Так скажем ли мы, что существо может быть совершенно автопотентным, не имея практической возможности достичь этой конкретной локальной конфигурации, или вместо этого мы скажем, что ни одно мирское существо не может быть совершенно автопотентным?
Кельвин [шепотом]: Ага.
Тессиус: Или, может быть, есть какой-то смысл, в котором эта конфигурация на самом деле не является физически возможной или диахронически осуществимой, в конце концов?
Агентурные осложнения и удача
Бостром: Условие пластичности не подразумевает, что каждый человек имеет неограниченную власть над своим окружением и самим собой. Это было бы невозможно в среде, населенной множеством агентов, поскольку иногда они могут иметь противоречивые предпочтения. Скорее, пластичность означает власть над природой. Она выражается в безусловной способности добиваться любого физически возможного результата в локальной среде только при отсутствии противодействия со стороны других наделенных властью агентов.
В мире, где существует множество агентов, преследующих порой противоположные цели, общее повышение пластичности не обязательно сделает кого-то лучше. Технологический прогресс может ухудшить положение всех нас, например, позволив легче и масштабнее совершать злодеяния.
Даже в отсутствие конфликтов или злонамеренности рост власти не является аксиомой. Власть можно использовать неосмотрительно. Я думаю, если мы хотим определить набор цивилизационных свойств, близкий к аксиоматически выгодному, он должен включать в себя по крайней мере три атрибута: не только власть над природой, но и сотрудничество с другими существами, а также мудрость.
И даже тогда это не является аксиомой. При большой мудрости и сотрудничестве технологический прогресс все равно может оказаться вредным, если нам не повезет. Мы можем с умом пойти на риск, который до этого стоил того, чтобы на него пойти, а после обнаружить, что это было ошибкой.
В зависимости от того, сколько морального содержания мы вкладываем в понятие мудрости, возможен и другой вариант плохого исхода событий, даже при наличии мудрости и сотрудничества, - если люди достаточно злы: тогда они могут успешно работать вместе, чтобы достичь какого-то злого результата.
Третий, более тонкий способ, с помощью которого максимальные технологии, мудрость и сотрудничество могут оказаться неоптимальными, - это если некоторые важные ценности сами требуют ограничения наших возможностей: например, если смысл нашей жизни будет в достаточной степени подорван условием пластичности. Но об этом подробнее позже.
Надежные траектории
Тем не менее, кажется правдоподобным, что общество, обладающее максимальными технологическими возможностями, максимальным сотрудничеством и максимальной мудростью, будет очень хорошим - уже утопическим или быстро приближающимся к этому, при условии, что оно не будет подвергаться внешней угрозе.
Мы можем считать, что эти три атрибута определяют трехмерное пространство, в котором наилучшая утопия находится в дальнем верхнем углу, где все три атрибута реализованы в полной мере. Наше нынешнее положение в этом пространстве находится где-то посередине - хотя, если исходить из некой абсолютной шкалы, мы, вероятно, должны считать себя гораздо ближе к origo, чем к утопическому пределу.
Следует отметить, что это пространство не является выпуклым по отношению к благости. Под этим я подразумеваю, что приближение к утопии с нашей нынешней позиции не обязательно сделает вещи лучше. Например, легко может оказаться, что некоторые передовые технологические возможности будут полезны только тогда, когда мир достигнет достаточного уровня сотрудничества, чтобы не использовать их для войны и угнетения. Аналогичным образом, некоторые передовые возможности сотрудничества могут быть полезны только в обществах, превышающих некий минимальный порог мудрости, без которого возникшее в результате кооперативное равновесие может служить лишь для укрепления каких-то преобладающих предрассудков или заблуждений и навсегда закрепить ущербный статус-кво.