Грей започна да разбира загрижеността на Джейсън.
— А сега Мара бяга. И без тези защитни стени системата й е уязвима.
— Ако се опита да рестартира програмата си и тя се измъкне, край на играта. — Джейсън поклати глава. — Проучих цялата й работа, архитектурата на невроморфния компютър, квантовия двигател, който го задвижва. Гениално. И абсолютно ужасяващо. Тя самата също го е знаела. Именно затова го е обградила с пръстен смъртоносни прегради.
— Според теб какво е нивото на заплахата? Каква е вероятността тази програма да се окаже опасна, ако излезе на свобода?
— Всяка самоосъзната система, всеки ОИИ, бързо ще се опита да се усъвършенства. Това ще е една от основните му цели и няма нищо, което би могло да му попречи. Програмата ще направи самата себе си по-умна, а след това по-интелигентната система ще търси начин да стане още по-умна.
— И така нататък.
— Освен това всеки ОИИ бързо ще придобие същите биологични подбудители, които имаме ние. Като най-важният от тях е стремежът за самозащита.
— Не би искал да бъде изключен… или да умре.
— И ще направи всичко, за да не допусне подобно нещо. Ще сложи ръка на всеки ресурс, ще осуети всяка заплаха, като за целта непрекъснато ще усъвършенства находчивостта си. И няма да има предвид само непосредствените заплахи. След като разполага с подобна огромна изчислителна мощ и е на практика безсмъртен, той ще търси опасности и отвъд хоризонта, далеч в бъдещето, и ще разработи стратегии да ги спре — дори заплахите, които биха се появили след хиляди години. И най-лошото е, че непрекъснато ще гледа нас, за да прецени дали ние сме заплаха за него сега или в бъдещето. И ако реши, че сме опасни…
— Край на играта, както сам каза.
— Но това е също причината работата на Мара да е толкова важна. Тя се опитва да създаде приятелски настроен ОИИ, който може да ни защити от опасните ОИИ, които могат да се появят по-късно — корекция, които ще се появят по-късно. Освен корпорациите и държавно финансираните лаборатории има стотици тайни компании, които работят по проблема и са готови на всичко, за да бъдат първите, без да ги е грижа какво могат да отприщят на свобода.
— Колко близо сме до осъществяването на това?
— Много. — Джейсън махна с ръка към хартиения хаос около тях. — Неотдавна програмата DeepMind на „Гугъл“ сама откри основите на квантовата физика. Две ИИ програми за превод започнаха да разговарят помежду си на техен собствен неразбираем език и отказват да преведат разговора си. Навсякъде по света роботи надминават създателите си и използват вратички по какви ли не изобретателни начини. Други програми дори демонстрират наличието на човешка интуиция.
— Човешка интуиция ли?
— Преди няколко години се вдигна много шум, когато AlphaGo, ИИ играчът на DeepMind, победи световния шампион по древната китайска игра го. Според някои изчисления го е трилиони и трилиони пъти по-сложна от шаха. Никой не очакваше компютър да победи човек в тази игра, поне в рамките на това десетилетие.
— Впечатляващо.
— И това е нищо. На „Гугъл“ им е отнело месеци да подготвят AlphaGo за състезанието. След това компанията възприе нов подход, като остави новата версия AlphaGoZero да се обучава сама, като играе играта срещу себе си. Само след три дни тренировка тя станала толкова умела, че победила оригиналната програма в сто от сто игри. Как ли? Като разработила интуитивно стратегии, които не са били разработени от никой човек през хилядите години, откакто играем тази игра. Програмата буквално надминала човечеството.
Грей преглътна. Изведнъж усети някаква пустота в стомаха си.
Джейсън обаче не беше завършил.
— Така че когато става въпрос за създаването на първия ОИИ, в този момент ние се намираме на прага. — Погледна Грей. — Така че може би е най-добре да уточним параметрите на мисията, преди да сме кацнали. Трябва не само да не допуснем програмата на Мара да попадне в неподходящите ръце; тя ни е нужна за самото ни оцеляване като вид.
На таблета на Джейсън се появи малко текстово съобщение.
Двамата го погледнаха и прочетоха съдържанието му. Беше от Лиза Къмингс, кратко и прямо.
Кат се влошава.
Трябва да започнем теста.
Нямаме избор.
Джейсън погледна тревожно Грей.
Грей знаеше, че младият аналитик на „Сигма“ се възхищава на Кат.
— Това също е императив на мисията — напомни той на Джейсън. — Да разберем какво общо има всичко това със случилото се с Кат.
„И с отвличането на Сейчан и момичетата“.