Великую и (или) неопределённую цель ИИ «разобьёт» на дерево «подцелей».
Говоря о том же царе Мидасе, Рассел приходит к выводу: «Если бы во времена Мидаса существовал ИИ, он объяснил бы царю, что в самой его просьбе есть ошибка, и на самом деле он не хочет, чтобы всё, чего он касается, превратилось в золото. Он сказал бы Мидасу: "Выбери конкретные объекты, которые ты хочешь сделать золотыми, и тогда твоя просьба будет выполнена"».
Понятие о цели — самое сложное в работе над ИИ. Если проектировщик задаст конечную цель так, чтобы ИИ ни при каких обстоятельствах не смог бы эту цель перепрограммировать, то ИИ в своём поведении будет подобен рабочему муравью. Истинным интеллектом тут и не пахнет.
Более вероятна ситуация, когда ИИ самостоятельно вырабатывает последовательные цели своих действий, учась на собственных ошибках. Именно о таких саморазвивающихся ИИ и говорят сейчас учёные и конструкторы, поскольку, по их мнению, высокоинтеллектуальный ИИ решит, что человек ему не нужен, и поставит себе цель — уничтожение нашей цивилизации.
Остановимся в своих рассуждениях и дадим слово тем самым писателям-фантастам, которые ещё полвека назад продумали возможные последствия.
Вот один из ранних рассказов Айзека Азимова — «Все грехи мира», 1952 год. Всем, что происходит на Земле, управляет единый огромный, чрезвычайно умный искусственный мозг — Мултивак. Он знает о людях всё, контролирует их поступки, управляет промышленностью, заводами, газетами, пароходами… Он учится на своих ошибках, сам себя достраивает, становится всё сложнее — ситуация именно такая, какой боятся сейчас создатели ИИ.
И что же? Мултивак, став разумным (обретя сознание и научившись чувствовать), уничтожает человечество? Вот что об этом думают герои Азимова.
«- Вряд ли, — ответил Отман с какой-то безнадёжностью в голосе. — Я никогда раньше об этом не задумывался, просто не предоставлялось случая. Но теперь мне кажется, что мы подошли к концу, так как Мултивак слишком совершенен. Он стал таким сложным, что способен мыслить и чувствовать, подобно человеку.
— Вы с ума сошли. Но даже если и так, что из этого?
— Уже более пятидесяти лет мы взваливаем на Мултивак все человеческие горести. Мы заставляем его заботиться о нас, обо всех вместе и о каждом в отдельности. Навязываем ему свои тайны. Без конца упрашиваем отвести таящееся в нас самих зло. Все мы идём к нему со своими неприятностями, с каждым разом увеличивая его бремя… Хотите я вам кое-что покажу. Давайте я проверю свою догадку…
Пальцы его уверенно выстукали вопрос:
"Мултивак, что хочется тебе самому больше всего на свете?"
Пауза между вопросом и ответом тянулась мучительно долго. Отман и Галлимен затаили дыхание.
И вот послышалось щёлканье, выпала карточка.
Маленькая карточка, на которой чёткими буквами было написано:
"Я хочу умереть"».
Вот так…
Десятью годами позже был опубликован рассказ Генриха Альтова «Странный вопрос» (из серии рассказов «Может ли машина мыслить?»).
«Нельзя сравнивать машину с человеком. В нашем представлении роботы — это почти люди, наделённые либо машинной злостью, либо машинным сверхумом. Чепуха! Наивен вопрос, может ли машина мыслить. Надо одновременно ответить "нет" и "да". Нет — ибо мышление человека формируется жизнью в обществе. Да — ибо машина всё-таки может мыслить и чувствовать. Не как человек, а как некое другое существо. Как машина. И это не лучше и не хуже, чем мышление человека, а просто — иначе.
Машина может определить температуру воздуха с точностью до тысячных долей градуса, но она никогда не почувствует и не поймёт, что такое ветер, ласкающий кожу. А человек никогда не почувствует, что такое изменение самоиндукции, никогда не ощутит процесса намагничивания. Человек и машина — разные.
Машина только тогда сможет мыслить, как человек, когда она будет иметь всё то, что имеет человек: родину, семью, способность по-человечески чувствовать свет, звук, запах, вкус, тепло и холод…
Но тогда она перестанет быть машиной».
Именно так. ИИ и человек — две различные формы жизни. ИИ воспринимает реальность не так, как человек. ИИ — ИНТЕЛЛЕКТ, логический цифровой ум, по определению лишённый эмоциональной сферы, которую конструкторы (и ИИ) умеют лишь имитировать.
ИИ можно научить (или он сам себя научит) воспроизводить любые человеческие эмоции и чувства, но это будет имитацией — примерно такой, какую описывает Виктор Пелевин в своём новом романе «iPhuck 10».