«Раз человек имеет право отдать роботу любой приказ, лишь бы он не был во вред другому человеку, то простая порядочность не должна позволять ему отдавать роботу распоряжения во вред этому роботу, за исключением тех случаев, когда этого бесспорно требует спасение человеческой жизни. Чем больше власть, тем больше и ответственность, и если роботы подчинены Трем законам, гарантирующим безопасность людей, неужели так уж много – попросить, чтобы люди ввели закон-другой для защиты роботов?»
Например, Первый закон состоит из двух частей. Первая: «робот не может причинить вред человеку» – однозначна, и с ней ничего не нужно делать. Вторая: «или своим бездействием допустить, чтобы человеку был причинен вред», – дает нам некоторые возможности для полета фантазии. Человек может пострадать от какого-то неодушевленного предмета. На него упадет что-нибудь тяжелое, или он поскользнется и свалится в озеро, или с ним случится любой из тысяч несчастных случаев, предвидеть которые невозможно. В такой ситуации робот должен попытаться спасти человека: вытащить в безопасное место, поддержать и тому подобное. Или человеку будет угрожать какое-нибудь живое существо, например лев, и тогда робот тоже обязан прийти ему на помощь.
А что, если человеку угрожает другой человек? Здесь роботу придется принимать решение, что ему делать. Сможет ли он спасти одного человека, не причинив вред другому? Или если избежать этого невозможно, какие действия следует предпринять, чтобы вред был минимальным?
Роботам жилось бы намного легче, если бы люди так же беспокоились о благополучии других людей, как должны это делать роботы. И разумеется, любой кодекс морали потребует от человека заботиться о других и стараться сделать все, чтобы им не был причинен вред. Что, в конце концов, и является мандатом, который люди дали роботам. Получается, что Первый закон науки о человеке с точки зрения роботов должен звучать так:
1. Человек не может допустить вред человеку или своим бездействием допустить, чтобы человеку был причинен вред.
Если этот закон будет выполняться, роботам останется лишь оберегать людей от несчастных случаев с неодушевленными предметами и живыми существами (не людьми), что освободит их от решения этических проблем. Разумеется, робот должен оберегать человека от вреда, который может неосознанно причинить ему другое человеческое существо. Кроме того, он обязан быть готов прийти ему на помощь, если другой человек по объективным причинам не в состоянии оказать ему эту помощь достаточно быстро. Однако даже робот может неосознанно навредить человеку, и даже робот может не проявить достаточной сноровки и не успеть попасть к месту действия, да и умений ему может не хватить, чтобы предпринять необходимые меры. Ничто в нашем мире не идеально.
Таким образом, мы подходим ко Второму закону роботехники, который требует, чтобы робот повиновался всем приказам, отданным ему человеком, если они не вступают в конфликт с Первым законом. Это означает, что человек имеет право приказывать роботу все, что угодно, без ограничений, если только его желания не причинят вред другому человеку.
Но ведь человек может приказать роботу нечто невыполнимое или его воля поставит робота перед дилеммой, которая может повредить позитронный мозг. В расскаже «Лжец», опубликованном в 1940 году, человек совершенно сознательно поставил перед роботом задачу, которая сожгла его мозг, и машина перестала существовать.
Мы можем даже представить ситуацию, когда появятся достаточно разумные роботы, которые будут в состоянии избежать гибели, если их вынудят делать нечто бессмысленно сложное или злостное. Следовательно, Второй закон науки о человеке должен гласить:
2. Человек должен отдавать роботу приказы, которые не вредят существованию робота, если только эти приказы не явятся причиной вреда или неудобства для других людей.
Целью Третьего закона роботехники было защитить роботов, но с точки зрения робота он может показаться не слишком надежным. Робот должен пожертвовать собой, если того потребуют Первый и Второй законы. Когда речь идет о Первом законе, тут не может быть никаких возражений. Робот обязан забыть о собственной безопасности, если это единственный путь защитить человека или предотвратить опасность, которая ему угрожает. Если мы признаем, что любое человеческое существо важнее любого робота (по правде говоря, я признаю это не вполне охотно), то такая формулировка неизбежноа.
С другой стороны, должен ли робот жертвовать собой, выполняя какой-нибудь несущественный или даже вредоносный приказ? В «Двухсотлетнем человеке» хулиганы сознательно приказывают роботу разобрать себя на части исключительно ради собственного развлечения. Получается, что Третий закон науки о человеке должен звучать следующим образом:
3. Человек не должен причинять вреда роботу или своим бездействием допустить, чтобы роботу был причинен вред, кроме тех случаев, когда робот вынужден пожертвовать собой, чтобы спасти человека или выполнить жизненно важный приказ.
Естественно, мы не можем навязать эти законы, как в ситуации с законами роботехники. Мы не в силах запрограммировать мозг человека, как мозг робота. Однако это начало, и я искренне считаю, что, если нам предстоит управлять умными роботами, мы должны быть за них ответственны, как сказал мой герой из рассказа «Двухсотлетний человек».
Кибернетический организм
Робот – это робот, а организм – это организм.
Организм, как нам известно, состоит из клеток. С молекулярной точки зрения, главными являются нуклеиновые кислоты и протеины. Они находятся в жидкой среде, которую поддерживает костная структура. Бессмысленно продолжать рассуждать на данную тему, поскольку мы все знакомы со строением организмов и сами являемся одной из его разновидностей.
С другой стороны, робот (как его принято описывать в научно-фантастической литературе) это объект, относительно похожий на человека, построенный из надежного металла, не подверженного ржавлению. Фантасты редко описывают внутреннее строение роботов, поскольку это не имеет принципиального значения для сюжета, да они и не особенно разбираются в технических деталях.
Однако из рассказов часто складывается впечатление, что внутри робота имеется масса проводов, по которым проводится электричество, и никаких трубок для тока крови. Источник питания, как правило, не называется, или становится ясно, что он имеет отношение к атомной энергии.
А как насчет мозга?
Когда я написал свои первые рассказы о роботах в 1939 и 1940 годах, я представил себе «позитронный мозг» губчатого типа из сплава платины и иридия. Я выбрал именно такой материал, потому что он особенно инерционен и меньше всего подвержен химическим реакциям. Губчатый он для того, чтобы обеспечить большую поверхность, на которой могут создаваться и разрушаться электрические схемы. «Позитронный» – поскольку за четыре года до моего первого рассказа о роботах был открыт позитрон как противовес электрону, и потому «позитронный» вместо «электронный» неплохо звучало с точки зрения фантастики.
Разумеется, сегодня мой позитронный мозг из сплава платины и иридия безнадежно устарел. Даже через десять лет после его изобретения он казался архаичным. К концу 1940-х годов мы уже понимали, что мозг робота должен быть чем-то вроде компьютера. Действительно, если робот настолько сложен, каким он описывается в моих более свежих романах, его мозг должен быть похож на мозг человека и состоять из крошечных микрочипов, не крупнее клеток мозга.
А теперь давайте представим себе нечто не являющееся ни организмом, ни роботом, а комбинацией и того и лругого. Возможно, мы имеем право рассматривать его как организм-робот или «орбот». Вне всякого сомнения, это не слишком удачное название, посокльку мы всего лишь переставили две буквы. Сказать «оргабот» – значит придумать довольно уродливое слово.
Мы можем назвать это создание робот-организм, или «роботанизм» (что, несомненно, еще хуже), или «роборг». Лично мне кажется, что «роборг» звучит не так уж плохо, но и это имя не годится.