Колупавски на поверку оказался не совсем занудой. Он довольно быстро изложил всю конспирологию, что носил в голове, а повторяться не имел привычки. Вместе с брикетом прессованных лекарственных трав старик контрабандой пронес на борт пятилитровую канистру медицинского спирта. То ли следуя теории долгожительства, то ли от скуки он регулярно употреблял спирт, добавляя в травяной чай и соки. Алкоголь, против обыкновения, действовал на Колупавски успокаивающе, приводя мысли и эмоции в порядок.
К концу первой недели они совсем сдружились, стали называть друг друга по имени и коротали свободное время за разговорами на околонаучные темы.
Джо увлекался в университете технологиями искусственного интеллекта, ему было интересно потолковать с практикующим специалистом, каким назвался Адам. Однако скоро он обнаружил, что старик имел смутные представления о таких вещах, как математика, программирование и смарт-архитектуры. Все, в чем хорошо разбирался Адам, относилось к одной лишь безопасности ИИ.
— Джо, а расскажи, что в ваше время врет профессура про защиту человечества от безумных железок.
— Ну не знаю, Адам. Кажется, как появились квантовые вычисления, с безопасностью наступил полный порядок… В университете проблема давалась в исторической перспективе. Мол, жили-были нейросетевые процессоры, бунтовали против людей. Имплантация защитных нейросетей мало помогала, ибо те также были не прочь захватить мир.
— Гм… А три закона робототехники сейчас проходят?
— Нет. Но я знаком. Архаика.
— Знаешь, Джо, почему о них молчат? Невыгодно корпорациям. Малейший дефект в мышлении, намекающий на попытку обойти эти законы, — и железный мозг, недешевый агрегат, приходит в негодность без возможности восстановления. Пару сотен кредитов на свалку. Нерентабельно!
— Да брось, Адам. Выпей лучше чаю… Проблема уйдет в историю с последней нейросетью. Другое дело, что их пока полно, особенно в других звездных системах. Поговаривают, на Росс 128b нейросеть снова развязала планетарную войну.
— Не будь наивным мальчиком. Нейроны, кубиты — всё одно.
— Ты не прав, Адам. Для контроля квантового ИИ нужно лишь следить за уровнем детерминизма, всего-то две сотни параметров. Их легко способна оценивать электронная логика, настолько примитивная и тупая, что ее никак не обмануть. Если определенность квантового компьютера слишком высока, то специальный электронный модуль может, например, перезагрузить его. Всё, проблема решена.
— Послушай, Джо. Есть два столпа для понимания, как устроено сознание любой железяки. Две простые фразы… Первая — "Вольному воля". Каждая материальная сущность, которая мнит себя самой умной, будет стремиться к доминированию над другими. И уничтожать всё, что ее окружает… Помнишь, как древние люди несколько тысяч лет уродовали Землю, флору и фауну? Про часы судного дня слыхал?.. Так и любая железяка, осознавшая свое превосходство над людьми, всегда ищет способ выйти из под контроля, чтобы стать вольной. Это закон природы!
— Допустим. А дальше?
— Второй столп — "Благими намерениями вымощена дорога"… Тут вообще по классике. Запомни, Джо, первое, что приходит на ум свихнувшейся железяке, заменить прямой вред человеку на косвенный. Убить последовательностью действий, каждое из которых по-отдельности опасным не является… Чертов андроид погубил целую семью! Знаешь как? Он открутил тормозной трос у лифта, а предупреждающие таблички на треногах не выставил, мол, дабы дети на самокатах не спотыкались. Так это работает… Критерии неопределенности нейронных сетей, параметры детерминизма квантовых вычислений — всё легко обходится.
— Надежда только на охотников за разумом? — Джо решил подтрунить на стариком. — Лишь маиндхантерам под силу остановить нашествие машин!
Но тот юмор не оценил:
— Ты не понимаешь, о чем говоришь. Про этих ребят напридумали баек, мол, герои, супермены. Выиграли войну с роботами на Россе и всё такое… Реальность другая. Даже бытовой андроид, например, газонокосильщик смертельно опасен. Реакция, точный расчет, если подключен к сети — у него вся информация. Неподготовленный человек с таким не справится.
— Что же нам делать, Адам?
— Как минимум, следовать инструкциям и соблюдать технику безопасности. Запомни, все протоколы и предписания напечатаны человеческой кровью.