Как деонтологи, пытающиеся ответить на вопрос об идентичности, вынуждены принимать утилитарные идеи, так и утилитаристы, запутавшиеся в отсутствии исчисления страданий, часто занимают позицию деонтологов. Они поддерживают общие правила вроде "избегать агрессивных войн" или "защищать права человека", хотя и не могут показать, что следование этим правилам всегда уменьшает общее количество страданий в мире. История дает им лишь смутное представление о том, что следование этим правилам, как правило, уменьшает страдания. А когда некоторые из этих общих правил вступают в противоречие - например, при рассмотрении вопроса о развязывании агрессивной войны для защиты прав человека, - утилитаризм не предлагает большой практической помощи. Даже самая мощная компьютерная сеть не сможет произвести необходимые расчеты.
Соответственно, хотя утилитаризм обещает рациональный - и даже математический - способ согласования каждого действия с "высшим благом", на практике он вполне может породить очередную мифологию. Верующие коммунисты, столкнувшись с ужасами сталинизма, часто отвечали, что счастье, которое испытают будущие поколения при "настоящем социализме", искупит любые кратковременные страдания в ГУЛАГе. Либертарианцы, когда их спрашивают о непосредственном социальном вреде неограниченной свободы слова или полной отмены налогов, выражают аналогичную веру в то, что будущие блага перевесят любой краткосрочный ущерб. Опасность утилитаризма заключается в том, что если у вас есть достаточно сильная вера в будущую утопию, она может стать открытой лицензией на причинение ужасных страданий в настоящем. Именно эту уловку обнаружили традиционные религии тысячи лет назад. Преступления этого мира можно было слишком легко оправдать обещаниями будущего спасения.
КОМПЬЮТЕРНАЯ МИФОЛОГИЯ
Как же бюрократические системы на протяжении всей истории человечества определяли свои конечные цели? Они полагались на мифологию, которая делала это за них. Какими бы рациональными ни были чиновники, инженеры, сборщики налогов и бухгалтеры, в конечном итоге они находились на службе у того или иного мифотворца. Перефразируя Джона Мейнарда Кейнса, можно сказать, что практичные люди, считающие себя совершенно свободными от религиозного влияния, обычно оказываются рабами того или иного мифотворца. Даже физики-ядерщики оказываются послушными командам шиитских аятолл и коммунистических аппаратчиков.
Проблема выравнивания оказывается, в сущности, проблемой мифологии. Нацистские администраторы могли быть убежденными деонтологами или утилитаристами, но они все равно убили бы миллионы людей, если бы понимали мир в терминах расистской мифологии. Если начать с мифологической веры в то, что евреи - демонические чудовища, стремящиеся уничтожить человечество, то и деонтологи, и утилитаристы смогут найти множество логических аргументов, почему евреев следует убивать.
Аналогичная проблема может возникнуть и с компьютерами. Конечно, они не могут "верить" ни в какую мифологию, поскольку являются бессознательными сущностями, которые ни во что не верят. Пока у них нет субъективности, как они могут иметь интерсубъективные убеждения? Однако одна из самых важных вещей, которые необходимо осознать в отношении компьютеров, заключается в том, что когда множество компьютеров общаются друг с другом, они могут создавать межкомпьютерные реальности, аналогичные межсубъектным реальностям, создаваемым сетями людей. Эти межкомпьютерные реальности могут со временем стать такими же мощными и такими же опасными, как и созданные человеком межсубъективные мифы.
Это очень сложный аргумент, но он является одним из центральных аргументов книги, поэтому давайте внимательно его рассмотрим. Для начала давайте попробуем понять, что такое межкомпьютерные реальности. В качестве начального примера рассмотрим компьютерную игру для одного игрока. В такой игре вы можете бродить по виртуальному ландшафту, который существует как информация внутри одного компьютера. Если вы видите камень, то он не состоит из атомов. Он состоит из битов внутри одного компьютера. Когда несколько компьютеров связаны друг с другом, они могут создавать межкомпьютерные реальности. Несколько игроков, использующих разные компьютеры, могут вместе бродить по общему виртуальному ландшафту. Если они увидят камень, то этот камень состоит из битов в нескольких компьютерах.