Брайън попипа колана си там, където обикновено бе окачен телефонът му: нямаше го.
— Трябва да съм го оставил някъде, не съм го чул да звъни.
Тя извади своя телефон и натисна бутона за автоматично повторно избиране. Чу се далечен звън. Намери апарата му до кафеварката. Върна му го с ледено мълчание.
— Благодаря.
— Трябва да е винаги близо до теб. Наложи се да потърся бодигардовете ти. Те ми казаха, че си още тук.
— Предатели — измърмори той.
— И те се тревожат като мен. Нищо не е толкова важно, че да рискуваш здравето си за него.
— Има нещо важно, Шели, там е работата. Спомняш ли си за неприятностите, които имахме с новата мениджърска програма преди да си тръгнеш снощи? Каквото и да правехме, системата просто се сгърчваше и умираше. Затова започнах отново с една много проста програма за подреждане на цветни квадрати, после я усложних с различни по форма и по цвят петна. И какво да видя — мениджърската програма продължаваше да работи, но всички останали сякаш бяха изключени. Затова записах какво се бе получило и опитах отново. Този път инсталирах програма, която да проследи всички команди, издавани от мениджъра до останалите подпрограми. Нещата се забавиха достатъчно, за да мога да открия какво става. Нека да го видим заедно.
Той пусна записа, направен през нощта. На екрана се показа как ИИ бързо подрежда цветните петна, как последва забавяне, след това помръдваше едва-едва, докато накрая спря напълно. Дълбокият бас на Робин-3 прогърмя в говорителя.
— … К-линия 8997, отговорѝ веднага на входящ сигнал 10983 — прекалено си бавна… — отговорѝ веднага… забрана. Избор на подпроблем 384. Приет отговор от К-4093, забрана заради бавни отговори от К-3724 и К-2314. Избор на подпроблем 385. Отговорите от К-2615 и К-1488 са в противоречие — забрана и на двете. Избор на…
Брайън изключи записа.
— Разбра ли?
— Всъщност, не. Ако изключим това, че програмата непрекъснато издаваше забрани.
— Да, и в това е проблемът. Тя би трябвало да се учи от придобития опит, като възнаграждава успелите подпрограми и да забранява онези, които се провалят. Ала прагът на мениджъра за успех е заложен тъй високо, че приема само перфектно и моментално подчинение. Затова той възнаграждава само елементите, които отговарят бързо, и изключва по-бавните — дори и когато онова, което те се опитват да правят, да се окаже в крайна сметка по-добро.
— Разбирам. И това е причинило ефекта на доминото, защото след изключването на поредния елемент останалите се обезсилват поради връзките си с него.
— Точно така. И техните отговори към други елементи се забавят, докато самите те на свой ред не се изключат. И не след дълго мениджърската програма ги убива всичките.
— Каква ужасна мисъл! Нима искаш наистина да кажеш, че системата се е самоубила?
— Не съвсем — гласът му бе дрезгав от умора. — Мисълта ти е прекалено антропоморфна. Машината не е човек. Какво лошо, по дяволите, има в това една верига да изключва друга? Господи, та това са само купчина електронни елементи и програмни продукти. След като не са замесени човешки същества, не може да се случи нищо ужасно, това е очевидно…
— Не ми говори по такъв начин или с този тон!
Брайън се зачерви от яд, но сведе поглед.
— Извинявай, вземам си думите назад. Мисля, че съм малко уморен.
— Ти си мислиш, а аз знам. Извинението се приема. Но е вярно — мисълта ми бе наистина антропоморфна. Не ставаше въпрос за това, което ми каза, а за начина, по който го направи. А сега хайде да спрем да се заяждаме и да излезем да глътнем малко чист въздух. А после си лягаш.
— Добре, но чакай да погледна първо това.
Брайън отиде до терминала и се зае да проследи вътрешните изчисления на робота. Те се появиха на терминала — екран подир екран. Най-накрая той кимна унило.
— Поредният дефект, разбира се. Появи се веднага, след като отстраних последния. Нали си спомняш, конфигурирах системата така, че да се потисне преждевременното изключване и роботът да не се изключва спонтанно. Сега обаче той отиде в другата крайност. Не знае кога да спре. Този ИИ изглежда много добър, когато трябва да отговаря директно на зададени въпроси, но само ако отговорите се постигат с елементарно мислене. Ала нали видя какво става, когато не може да открие отговора. Почна да търси напосоки, изгуби ориентация, не знае кога да спре. Човек би казал, че той не знае това, че не знае.
— На мен ми се стори, че той просто полудя.
— Да, може да се каже и така. Разполагаме с множество думи за дефектите у човека — паранои, кататонии, фобии, неврози, алогично поведение. Предполагам, че ще ни е необходим нов набор от думи за новите дефекти, които се проявяват у роботите. И нямаме причини да очакваме, че всяка нова версия на робота ще заработи от първия път. В този случай стана така, че той се опита да използва едновременно всички експертни системи, за да реши един и същ проблем. Мениджърът не се оказа достатъчно силен, за да изключи неподходящите. Всичката онази бъркотия от думи показва, че той се улавяше като удавник за сламка за всяка асоциация, която евентуално можеше да го насочи към поставения проблем — без значение колко е далечна от него. Освен това показа, че когато един подход пропадне, той просто не знае кога да спре. Дори и ако този ИИ функционира, то не съществува правилото, че би трябвало да е с всичкия си, според нашите разбирания.