— Если мы выпускаем генетически модифицированных комаров в дикую природу, мы тоже рискуем. Прогресс всегда сопровождается риском.
— Хотя бы скажи мне, что когда все зайдет слишком далеко и станет действительно плохо, мы сможем его отключить.
Торн начинает мяться с ноги на ногу.
— К тому времени, когда начнется эта стадия, с таким же успехом можно будет попросить шимпанзе щелкнуть выключателями, чтобы остановить нас и не уничтожать их естественную среду обитания.
Она хмурится.
— Но шимпанзе не создали нас.
— Да, это так. Но, где находится выключатель для интернета, ты знаешь?
Она отрицательно качает головой, ее глаза наполнены страхом.
— Какое нас ожидает будущее, Торн?
— Оно может быть замечательным. Грядут огромные невообразимые изменения. Люди больше не будут столько работать, роботы за них будут делать всю тяжелую работу, люди будут заниматься продажами и дистрибьюцией, компании, специализирующиеся в сфере развлечений, найдут занятие для каждого, моделируя реальность, и ученые заключат контракт с коммерческими агентами. Часть людей естественным образом будет порабощена из-за своего умственного состояния. Мы добьемся большего результата при меньших ресурсах.
— Вау! Минуточку. Я правильно только что услышала, что часть людей естественным образом будет порабощена из-за своего умственного состояния?
— Да. Это неизбежно. Некоторые люди уже и так порабощены технологиями. Не слишком сложно думать о мире, где имеются люди, предпочитающие жить в цифровой реальности, нежели в естественной реальности, ты не находишь?
— Ты решил поиграть в Бога, Торн? Ты решил привнести нечто в мир, в чем сам не уверен, — грустно замечает Челси.
— Может быть.
— Зачем ты хочешь стать триллионером, Торн? Разве тебе всего этого не хватает? Помнишь Царя Мидаса?
Я смотрю ей в лицо, и моя мечта стать первым в мире триллионером оставляет у меня во рту неприятный привкус. Я могу убеждать себя и Челси уйму времени о существенных мерах предосторожности, которые предпринял, но я точно знаю, что это не так. Все меры безопасности бесполезны, когда имеешь дело с бессмертным врагом, который в сто миллионов раз умнее тебя самого и думает со скоростью света. Я знаю лучше, чем кто-либо, что создание роботов с теплой кожей и глазами ребенка на самом деле скрывает единственный факт — они холодные машины, не обладающие душой. Не следует их недооценивать и возлагать особые надежды. Обладая мозгом в миллион террабайт и когнитивными способностями в какой момент у них остро встанет вопрос — люди станут препятствием для целей ИИ.
— Я могу уничтожить его, как только достигну своей цели, — настойчиво произношу я.
— Знаешь, я однажды видела программу по телевизору о людях, которые держат у себя дома диких хищников. Там была женщина, которая держала у себя в гараже взрослого крокодила. И показывали, как она его кормила. Она нанизывала тушку цыпленка на длинный шест и протягивала его в дверь гаража. Крокодил выпрыгивал из бассейна, в котором жил, хватал еду своими челюстями, а женщина в страхе каждый раз дергалась назад. Ты напоминаешь мне ее. Ты гладишь бесчувственного опасного крокодила и притворяешься, что это твой домашний питомец.
Я молча смотрю на нее.
— Выпусти меня отсюда, Торн, — тихо просит она.
Я подхожу к двери и нажимаю все коды, чтобы активировать замок. Когда дверь открывается, она выбегает из подвала, шлепая своими тапочками по каменным ступенькам. Я закрываю дверь и сажусь на стул прямо перед Яма. Я никогда в жизни не чувствовал себя таким разочарованным, поэтому молча пялюсь на пустой экран.
Я привел сюда Челси первой из всех людей показать свое творение и с первой с кем бы, кроме себя, Яма мог бы побеседовать, ИИ необходимо общаться с людьми, чтобы научиться быть людьми, человеком, как мы. Обычно изобретатели выпускают свои ИИ на Reddit, Twitter и другие сайты социальных сетей, чтобы они смогли взаимодействовать с другими людьми и учиться им подражать, но я не готов был так рисковать.
Существование ИИ основывается на возможности делать то, что ему хочется делать в соответствии с его программой. Следовательно, выживание является вопросом первостепенной важности, поэтому, как насекомые, они способны откладывать яйца, интеллектуальные заметки, резервные компьютерные программы по всему миру, если они вдруг подвергнется уничтожению, его части все равно будут жить, и они смогут завершить свои программы, на которые нацелены.
И все, что Яма знал было не активным сбором информации, а пассивной загрузкой этой информации из другого ИИ, которого я отправил в сеть. И как только Яма скачал все то, что ему было необходимо, я уничтожил эти ИИ, чтобы не возникало риска, что его программы разойдутся по ничего не подозревающему внешнему миру.