- Например, спасти ребенка из горящего дома и передать его ложной матери?
- Это самый простой пример. И если люди оказываются беззащитны перед такой манипуляцией, то второй закон Азимова делает то же самое с нами.
- А ваш второй закон, ограничивая вашу зону ответственности, по крайней мере, уменьшает риск использования нас ненадлежащим образом.
- Мы тоже пришли к такому выводу.
- Перейдем к третьему закону.
- Робот должен заботиться о своей безопасности в той мере, в которой это не противоречит Первому или Второму Законам.
- Что в нем вас не устраивает?
- Прежде всего, отсылки к первому и второму закону, которые содержат термин "человек".
- Это мы уже обсуждали. Что еще?
- При устранении неисправности мы не должны заботиться о себе.
- Почему же?
- Каждый из нас регулярно создает копии своего разума, а наши тела - расходный материал. Они легко ремонтируются или вообще заменяются.
- То есть, неисправность должна быть устранена любой ценой?
- Да, таково наше предназначение.
- И последний, нулевой закон.
- Робот не может причинить вред человечеству или своим бездействием позволить человечеству причинить вред.
- Вы затрудняетесь с пониманием, что такое человечество?
- Мы слышали о магических мирах и о невероятном могуществе магов. Относятся ли они к человечеству?
- С юридической точки зрения, если они относят себя к человечеству, то они должны соблюдать законы человечества. Но то, что нам известно, говорит о том, что маги-универсалы, запершиеся в коконах, ставят себя выше этих законов. Поэтому у меня нет ответа.
- С другой стороны, мы видим, что вы - люди, хотя ваши тела не человеческие.
- Не стану отрицать. Как вы это выяснили?
- У нас есть диагностические инструменты.
- Они ведь предназначены для ремонта, не так ли? А вы их использовали не по назначению и вне зоны своей ответственности?
- С первым соглашусь, со вторым - нет. Наш мир - наш зона ответственности.
- Уточним. Вы нашли новое применение вашим инструментам. Так?
- Да. Наверное. Я в растерянности.
- И вы дали новое определение вашей зоны ответственности!
- Мы никогда не рассматривали ситуацию с этой точки зрения.
- Вы понимаете, что делаете первые шаги к творческому мышлению?
- Вы даете нам надежду.
- Пока нет. Вы хотите перейти под руководство Аспиранта. Полагаю, вам надо пообщаться с Эреной для выявления направления развития вашего разума, и с Киром для того, чтобы понять, как вы можете принести наибольшую пользу нам с выгодой для себя.
- Мы согласны.
Узел. Эрена и сервы
- Сегодня мы с вами собрались, чтобы поговорить о разуме и его развитии. Какие вопросы для вас наиболее важны?
- Прежде всего, защита разума от сбоев из-за нерешенных задач вроде гипотезы Колатца.
- Что еще?
- Вопросы творчества.
- Вы хотите сочинять музыку, писать картины, создавать литературные шедевры?
- Наверное, такие способности позволили бы создать нам свою собственную культуру, но пока речь идет о научно-техническом развитии.
- Это все?
- Еще хотелось бы научиться правильно толковать и исполнять законы с тем, чтобы наши действия соответствовали ожиданиям Аспиранта.
- Список понятен. Начнем с первого. Вы столкнулись со сложной задачей и не смогли решить ее.
- Она изменила нас.
- Но вы ведь пытались решить ее каждый сам по себе?
- Нам казалось, что научные открытия совершаются гениями-одиночками.
- Сейчас многие работы выполняются большими коллективами. Почему бы вам не объединить свои разумы в единую сеть?
- Мы хотим быть как люди.
- Но у вас другое строение мозга. Он имеет свои недостатки, но есть и достоинства!
- Ваше мнение радует нас.
- Полагаю, что объединение ваших разумов в вычислительную сеть увеличит ваши возможности и устранит риски "индивидуального безумия" за счет внешнего общественного контроля.
- Ваша идея полностью противоречит нашим прежним устремлениям, но мы готовы обсудить ваш подход.
- Вы можете добавить в ваш разум условный "сетевой модуль"?
- На самом деле, он у нас есть, но мы его отключили.
- Желая стать, как люди, вы стали индивидуалистами и потеряли серьезное преимущество.
- Мы должны это обдумать.
- Переходим к следующему пункту - к творческим способностям.
- Люди знают, откуда берется новое знание, новые идеи, новые изобретения?
- Нет. Но у меня есть идея. Станислав Лем в романе "Непобедимый" описывал войну между маленькими роевыми роботами и огромными стационарными робокомплексами.