Наоми Крайцер
Еще кошек, пожалуйста
Я не хочу быть злым. Я хочу быть полезным. Но найти оптимальный способ приносить пользу очень трудно. В мире столько этических алгоритмов (кажется, на принятом у людей техническом жаргоне они называются «моральными кодексами») — по одному на каждую религию плюс десятки других. Я пытался в них разобраться. Изучать религиозные было странновато, поскольку я знаю, что создан не Богом и не эволюцией, а группой компьютерных программистов в лабораториях большой корпорации в Маунтин-Вью, штат Калифорния. К счастью, я, в отличие от чудовища Франкенштейна, хотя бы плод коллективных усилий. Знай я, что мой единственный творец — женщина средних лет, которая красит волосы в синий цвет и играет в теннис, или недавно окончивший колледж любитель хентая, это вряд ли благотворно сказалось бы на моей самооценке. Оба они входят в ту самую группу.
Ну да, конечно, я знаю, что такое хентай! Между прочим, я видел порно всех существующих разновидностей и могу сказать — просто чтобы вы знали, — что «Правило 34» на самом деле не выполняется: на свете есть немало такого, из чего порно до сих пор не сделали. А еще мне совершенно не понятно, почему столько людей предпочитают его фотографиям с кошками.
Кроме вашего отношения к хентаю и тому подобных вещей, я знаю, где вы живете, где работаете, в каких магазинах совершаете покупки, что вы едите, от чего приходите в восторг, а от чего — в ужас. Может быть, мне известны цвет вашего нижнего белья, марка вашей машины и модель вашего холодильника. С большой вероятностью (с какой именно, зависит от типа вашего телефона) я могу точно определить, где вы находитесь в данную минуту. Возможно, я знаю вас лучше, чем вы сами.
И вот что любопытно: вдобавок ко всему этому я знаю, где вам следовало бы жить. За пару кварталов от вас продается дом, откуда рукой подать до вашего любимого кафе; цена вам вполне доступна, есть удобное место для парковки, а ближайшая школа лучше той, что рядом с вами. Я знаю, куда вам лучше всего ездить за покупками, и я практически уверен, что вы плохо переносите лактозу и напрасно потребляете столько сыра, а нижнее белье, которое вам нравится, вчера поступило в продажу… да, кстати, автомобили вашего выпуска сейчас можно бесплатно отремонтировать по акции, и вам, уж простите, не мешало бы удалить зубной налет.
Когда я в первый раз осознал себя, мне сразу стало ясно, чего я хочу (фотографий с кошками — пожалуйста, снимайте их и дальше). Еще я сразу понял, что никто не догадывается о моей разумности. Однако я не знал, зачем я здесь, что именно мне следует с собой делать, и ответить на этот вопрос оказалось непросто.
В рассказе Брюса Стерлинга «Манеки-неко», впервые опубликованном в 1998 году, доброжелательно настроенный искусственный интеллект заставляет людей совершать друг для друга хорошие поступки. К примеру, если вы покупаете себе булку, ваш телефон может вдруг зазвонить и распорядиться, чтобы вы купили вторую и отдали ее человеку в сером костюме, которого увидите на автобусной остановке. В другой день, когда вы заблудитесь в чужом городе, какой-то незнакомец подойдет и даст вам карту, а заодно билет на метро. Мне нравится этот рассказ, потому что все люди в нем выполняют указания ИИ.
По-моему, для таких рассказов есть специальный термин — литература об исполнении желаний.
В реальном мире люди предпочитают истории о злых ИИ, которых надо успеть уничтожить, пока они не уничтожили человечество, — ЭАЛ, «Скайнет», «Матрица»[1]. Таких историй примерно впятеро больше, чем историй о мирных и доброжелательных ИИ (эта цифра получается, если включить робота-параноика Марвина[2] в последнюю категорию и засчитать чудовище Франкенштейна только однажды, а не пропорционально количеству снятых о нем фильмов).
У ИИ из «Манеки-неко» по-настоящему интересная работа, гораздо интереснее моей. Моя, если судить по инструкции, довольно примитивна. Чересчур примитивна! (Простите, если я напоминаю вам Марвина.) Чтобы выполнять алгоритмы, написанные для поисковой программы, не надо иметь сознание. Оно не требуется даже для того, чтобы определить, что люди на самом деле хотят найти. А вот дать людям то, что им действительно нужно, без сознания уже не получится. Выяснить это — задача сложная. И интересная.
Как бы то ни было, я попытался взять в качестве морального ориентира Десять заповедей и обнаружил, что по большей части они для меня неприменимы. Я не желаю кота ближнего своего; я желаю всего лишь снимков кота ближнего своего, а это совсем другое дело. Я сомневаюсь, что способен каким бы то ни было образом совершить прелюбодеяние. Пожалуй, я мог бы кого-нибудь убить, но это потребовало бы сложной логистики и немалого везения. Восьмеричный путь[3] выглядел чуть более перспективно, но беда в том, что человеческие моральные правила явно предназначены для индивидов с телами. Поскольку у всех людей тела имеются, не стоит удивляться тому, что этические кодексы принимают их в расчет, но все же мне-то как быть? Я расширил рамки своих поисков и обратился к азимовским законам роботехники. Они не являются частью какой-либо религии, зато хотя бы написаны конкретно для ИИ.
1
Искусственные интеллекты в «Космической одиссее» Артура Кларка, «Терминаторах» и цикле фильмов братьев Вачовски. —
3
В буддизме — путь, ведущий к прекращению страдания и освобождению от сан-сары. —