И стал свет».
Мне кажется забавным, что концепция «компьютеризации» Универсума, явно висящая в воздухе, была очень похоже реализована мною в рассказе «Друг» (в котором угрюмый компьютер, строя козни человечеству, нападает на мысль, что он мог бы поочередно превращать планеты и солнца в собственное вещество, то есть «компьютеризовать Космос», и наконец приходит к мысли: «а может, это уже когда-то было», может, другой компьютер биллионы лет назад именно так и поступил, после чего «ему в голову ударило та-а-акое», что вызвало взрыв Мозга-Вселенной, то есть привело к разбеганию галактик, продолжающемуся и по сей день).
Тот же Азимов, как было сказано, изобрел «Три Закона Роботехники», звучащие так:
«1. Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинен вред.
2. Робот должен повиноваться всем приказам, которые дает человек, кроме тех случаев, когда эти приказы противоречат Первому Закону.
3. Робот должен заботиться о своей безопасности в той мере, в какой это не противоречит Первому или Второму Законам».[23]
Как можно судить по статье Азимова в английском журнале «Сайнс» (декабрьский номер за 1968 г.), он к своим законам относился серьезнее, чем следовало бы. Разыскивая аналогию, на которой, как на модели, можно было бы показать опасности, возникающие в реляциях «человек-компьютер», Норберт Винер не случайно обратился к истории «Обезьянья лапа», а не к какому-либо одному из многотысячных рассказов научной фантастики.
Утопично предположение, будто Три Закона Роботехники Азимова можно было бы заложить в фундамент интеллектронного программирования. Этой проблемой я занимался в «Summa Technologiae», рассматривая возможную эволюцию отношений между цифровыми машинами и людьми, поэтому не хотелось бы повторять сказанное. Но и робота, снабженного каким-то эрзацем личности, невозможно сделать совершенно безопасным для окружения, учитывая такую рефлексию, которая, правда, не может считаться доказательством, но на след его наводит. Примем оптимистическое (недоказуемое строго) предположение, будто технически осуществимо построение системы, являющейся одновременно самопрограммирующимся роботом, в то же время не могущим предумышленно причинить зло человеку. Моделью такого робота будет ребенок из новеллы Я.Ю. Щепаньского «Бабочка», который, желая помочь бабочке, неумышленно ее убивает. В принципе же моральную оценку такого поступка можно дать лишь постольку, поскольку удается проследить уходящие максимально далеко причинные цепочки, запущенные данным действием. Тот, кто смотрит дальше и замечает такие возможные последствия своих действий, которых кто-либо другой на его месте не в состоянии предвидеть, порой действует не так, как этот другой. Но чем дальше в будущее уходит предвидение последствий действия, тем значительнее в предикции будет участие вероятностных факторов. Добро и зло скорее в виде исключения образуют полярную дихотомию: включение в оценку пробабилистического элемента делает принятие решения все более трудным. Поэтому гипотетический робот, имеющий аксиологически очень сильную защиту, в ходе реальных событий, презентующих присущую им степень сложности, чаще всего бы замирал, не зная, как поступить, тем самым уподобляясь тем восточным мудрецам, которые бездействие чтили превыше действия, кое в запутанных ситуациях просто не может быть этически не рискованным. Но робот, охваченный параличом в ситуациях, требующих активности, не был бы наиболее совершенным из всех технических устройств, и поэтому в конце концов сам конструктор вынужден был бы оставить некоторый люфт его экологическим предохранителям.
Впрочем, это только одна препона среди обильного их множества, поскольку теория решений показала нам сравнительно недавно, скажем, на примерах типа так называемого парадокса Эрроу, что существуют несовыполнимые ценности, хотя зачастую подобное положение интуитивно распознать не удается. Тот, кто принимает решения в запутанных ситуациях — а таковые относятся к общественно типичным, — никогда не действует ни исходя из полной информации, ни из предположения, что, решаясь на это, никому не причинит зла (например, когда он выполняет обязанности законодателя и т. д.). Того же, что логически оказывается невозможным, ни цифровая машина, ни какой-либо робот, так же, как и человек, реализовать не сумеет. Сверх того — и это уже третий пункт доказательства, — разумное устройство — это не более чем самопрограммирующийся комплекс, то есть прибор, способный преобразовывать — даже фундаментально — действовавшие до того законы собственного поведения под влиянием опыта (или обучения). А поскольку заранее невозможно точно предвидеть ни чему, ни каким образом такое устройство будет научаться, машина она или человек, то и невозможно конструктивно гарантировать появление этически совершенных предохранителей активности. Иначе говоря, «свободная воля» есть признак любой системы, снабженной свойствами, которые мы отождествляем с интеллектом. Вероятно, можно было бы вмонтировать в систему типа робота определенный аксиологический минимум, но он подчинялся бы ему лишь в такой степени, в какой человек подчиняется особо сильным инстинктам (например, инстинкту самосохранения). Однако же известно, что даже инстинкт самосохранения можно преодолеть. Стало быть, программирование аксиологии мозгоподобной системы может быть только пробабилистичным, а это означает всего лишь, что такое устройство может выбирать между добром и злом.