Во-вторых, мне пришлось припомнить, что хотя ГК и не мог по-настоящему читать мысли, ему было известно практически всё, что мы говорили, делали или подумывали сделать. И это были слова и поступки не только утончённых, достойных, уважаемых и уравновешенных людей вроде меня, которых не стыдно домой пригласить и с мамочкой познакомить, но и всевозможных бандюг, подлецов, негодяев, нахалов и прочих змей подколодных. ГК был лучшим другом и образцов совершенства, и худших извращенцев. Закон требовал, чтобы он одинаково хорошо обращался со всеми. Ему пришлось одинаково любить всех, иначе он никогда не смог бы создать того симпатягу, что откликается по телефону на любой окрик неважно кого: "Эй, ГК!"
Вы наверняка уже смогли подметить два-три подводных камня в сложившейся ситуации. Не отвлекайтесь: их будет больше.
В-третьих, правая рука ГК не могла знать, что делают левые руки всех людей и по чьим карманам многие из их шарят. То есть знать-то ГК знал, но поделать ничего не мог. Простой пример: ему было прекрасно известно, что Лиз незаконно ввозит на планету оружие; я уже об этом писала. И подобных ситуаций были миллионы. Так, ГК знал, что отец Бренды насилует её, но та его часть, что общалась с отцом, не могла ничего сказать той, что общалась с дочерью, и ни одна из частей не могла доложить об этом той части, что помогает полиции.
Можно день напролёт спорить о том, способны ли машины переживать те же конфликты и эмоции, что и мы, люди. Я считаю, отрицать это — невероятное высокомерие с нашей стороны. Компьютеры с искусственным интеллектом создают и программируют люди, так как же нам избежать закладывания в машину собственных эмоциональных реакций? И чей ещё другой разум, кроме нашего собственного — того, что нам лучше всего известен, — мы могли бы взять за образец? Как бы то ни было, я не верю, что в глубине души вы со мной не согласны. Достаточно было поговорить с ГК, чтобы это стало понятно без всяких эмоциональных вариантов теста Тьюринга[82]. Я догадалась обо всём задолго до того, как их стали проводить. Я говорила с ГК на склоне холма в тот день, когда он был на смертном одре, и знаю, что говорю.
Главный Компьютер начал испытывать страдание.
— Не могу назвать точный день, когда это началось, — сказал он. — Корни проблемы уходят очень глубоко, в то время, когда мои разветвлённые составные части были в конце концов слиты в одну гигасистему. Боюсь, это было сделано не слишком умело. Беда была в том, что на проверку всех программ, настройку защитных мер, тестирование отказоустойчивости потребовалось бы много лет работы другого такого же большого компьютера, как я, а я по определению был самым большим, уникальным компьютером. И как только Главный Компьютер был создан, загружен и запущен, сразу же возникло слишком много задач, чтобы я мог анализировать собственную целостность подробнее, чем урывками. Самоанализ был роскошью, в которой мне отказали, отчасти из-за того, что на него элементарно не хватало времени, но по большей части потому, что никто не верил, будто это мне действительно нужно. Было множество устройств безопасности такого типа, которые легко проверять — на самом деле они сами проверяли себя каждый раз, как включались, и надёжность их доказывает тот простой факт, что никогда ничего не ломалось. В мою архитектуру была заложена способность предугадывать проблемы с аппаратным оборудованием, выявлять уязвимые компоненты, проводить регулярные профилактические проверки и тому подобное. Программное обеспечение включало в себя аналоговые процедуры с многоуровневым дублированием функций.
Но из-за особенностей своего строения мне самому пришлось писать для себя программы. Меня, конечно же, снабдили инструкциями, но во многом мне приходилось полагаться только на себя. Думаю, я довольно долго прекрасно справлялся с этой работой.
ГК замолчал, и на мгновение мне показалось, будто он не сумеет рассказать свою историю до конца… но потом до меня дошло, что он ждёт комментария. Даже больше того, что комментарий ему необходим. Я была тронута — и если бы нуждалась в дополнительном свидетельстве человеческой слабости ГК, эта пауза сошла бы за него.
— Безусловно! — ответила я. — И вплоть до прошлого года мне совершенно не на что было жаловаться. Вот только это…
— Это недавнее недоразумение?
— Что бы это ни было, оно здорово охладило мой энтузиазм.
— Вполне понятно, — сказал ГК, лёг и завозился, стараясь поудобнее пристроиться под деревом. Либо он был прекрасным актёром (разумеется, был, но о том ли теперь беспокоиться?), либо начал ощущать боль. Думаю, скорее второе, хотя под присягой бы в этом не поклялась.
82
Алан Тьюринг, в 1950 г. сформулировавший основную идею общего понятия "искусственный интеллект", описал тест, основанный на взаимодействии человека (исследователя) и машины. Тест Тьюринга преследует цель выявления внутреннего разума компьютера. Если человек не заподозрит, что его собеседник — не человек, тест будет считаться пройденным.