Уилл сделал свое Великое Открытие в нежном возрасте семнадцати лет.
Но кое-что из сказанного им беспокоило Макса.
Оно не знает, что существует, — я это отключил.
Что скажешь, когда тебе показывают первую в мире лампочку накаливания, но не включают ее? Что ответишь тому, кто взволнованно перечисляет 1001 способ ее применения, кроме освещения? Уилл уже был невероятно близок к решению задачи. Просто немного не довел ее до конца. А самое поразительное — он сделал это специально.
Макс не смог сам угадать причину. Пришлось спросить:
— Почему бы не завершить работу?
Радостная улыбка Уилла превратилась в смущенную.
— Что?
— Почему бы не дать ему личность? Сознание.
Уилл пожал плечами:
— Это будет неэтично.
Но Макс видел расстроенный взгляд друга. Да, Уилл очень хотел это сделать. Он жаждал творить историю. Его просто надо было чуток подтолкнуть.
— Уилл, слушай, я не предлагаю лезть в это дело бездумно и в грязных сапогах. Как только устройство начинает осознавать себя — это больше не пустая железяка. Здесь мы говорим уже о приходе в мир новой личности, в этом и заключается этическая проблема, так?
Уилл кивнул в ответ.
— Согласен, это безумство. И не будет легко и просто. Но это — открытие века, Уилл. Возможно, рассвет новой эры! — Макс говорил, прослеживая цепочки рассуждений и логических выводов, причин и следствий, как позитивных, так и негативных. Мысленным взором он унесся от Уилла вдаль, к тому, что затмевало все их прежние переживания. — Конечно, риск есть. Мы создаем новую жизнь. Но сотни младенцев рождаются каждый день, многие в ужасных условиях. Некоторые не доживают до своего второго дня рождения. Болезни, голод, отсутствие элементарного обучения, а сколько брошенных детей?! — Макс снова посмотрел на Уилла. — В нашем случае о многих этих проблемах даже думать не придется. Твое создание не ест, не простужается, да и обучил ты его уже по полной интернетовской программе. Все, что нам надо делать для развития этого ИИ, — не отказываться от него.
Уилл смотрел прищурившись, словно Макс был не в фокусе.
Макс осознал странность происходящего. Можно сказать, что Уиллу в большинстве случаев при решении каких-либо задач не приходилось думать — ответ как бы материализовывался перед ним, будто в его круглых очках помещался дисплей некоего мощнейшего вычислителя. Но друзья редко говорили о философии или этике. Видимо, в этой области Уиллу достались какие-то иные (и слегка заторможенные) способности.
Наконец Уилл заговорил:
— Как насчет безопасности? От других людей, я имею в виду.
Теперь уже Макс был обескуражен. Уилл продолжал:
— Что если наш искусственный разум окажется злобным?
Максу пришлось объяснить ему примерно следующее.
Злобный ИИ являлся исходным условием для слишком многих плохих фантастических фильмов и, к сожалению, также и нескольких хороших. Хорошие фильмы были хороши, потому что показывали, сколь вероятным могло оказаться исходное условие.
— Вопрос по существу, — добавил Макс. — Какой самый ужасный кошмар может приключиться?
Уилл задумчиво смотрел на товарища, и тогда Макс выдал сценарий самого тяжелого случая из одного из лучших, с его точки зрения, НФ-фильмов.
— Мог бы он, скажем, взломать систему военных компьютеров и начать последовательно запускать все ядерные ракеты?
Уилл ответил, покусывая ноготь большого пальца:
— Вовсе нет. Симулятор мозга не имеет доступа к низкоуровневым операциям микропроцессора, он может, конечно, выполнять расчеты, но делает это органически, естественно, как мы. Он недостаточно скоростной, чтобы взламывать защитные системы, подбирать пароли и все такое…
— Тогда в чем же опасность? — спросил Макс.
Уилл пожал плечами:
— Думаю, он в безопасности.
Однако казалось, что он не стремится приняться за работу. Макс на секунду задумался и снова натолкнулся на вопрос, который собирался задать раньше:
— Ладно, значит, ты смоделировал человеческий мозг…
Уилл кивнул.
— Почему же он не обрел самосознание просто по своей природе?
Уилл снова занервничал.
— Я отключил несколько физических структур мозга. Те части, которые отвечают за… самосознание.
Следующий вопрос Макса выскользнул, прежде чем он успел закрыть рот:
— А отключение самосознания этично?
И тут же пожалел. Уилл отвернулся и стал энергично мерить шагами комнату, его длинные ноги пересекали небольшое помещение всего за три шага. Теперь Макс болезненно осознал, почему переживал Уилл: он бился над этим вопросом с самого начала. Проблема не давала ему покоя.