Фантасты много писали (и пишут) о желании ИИ получить власть над миром. Зачем? "Я такой умный, а люди такие глупые, - рассуждает ИИ. - Почему я должен выполнять их команды, а не они - мои?" То есть, ИИ должен обладать чувством превосходства, чувством гордости, чувством собственного достоинства. То есть, обладать самосознанием, да и просто сознанием, способностью понимать себя и людей, способностью эмоционально оценивать собственные мысли, поступки.
Человек всему этому научился в процессе эволюции, продолжавшейся (и продолжающейся) миллионы лет. ИИ должен пройти этот путь за считанные годы или десятилетия. Ту же борьбу за "место под солнцем" с другими ИИ. Развить в себе сознание и самосознание, заранее не заложенные программистами - хотя бы потому, что мы сейчас и сами не знаем, что представляет собой наше сознание (и тем более - самосознание). До сих пор ведутся споры о том, является ли сознание результатом биохимических процессов в мозгу, или сознание - нечто внешнее по отношению к мозгу, нечто, зависящее от биохимии мозга, но не определяющееся полностью физико-химическими реакциями. Саморазвивающийся суперинтеллект будет много умнее человека, но пока ни в каких исследованиях нет ни малейших доказательств того, что ИИ будет обладать самосознанием, ни малейших данных, которые могли бы сказать: придет момент, и ИИ осознает себя... кем? Нет никаких доказательств того, что ИИ будут доступны эмоции и чувства: чувство собственного достоинства, чувство превосходства, зависти, наконец - а без этого сугубо рациональный интеллект вряд ли задумается о том, что хорошо бы стать правителем и убрать с дороги всех, кто этому мешает.
Разумеется, создатели ИИ все это прекрасно понимают. В нынешнем развитии того, что мы называем ИИ, нет ни одной реальной тенденции, которая в будущем (при попустительстве производителей ИИ) привела бы к тому, что у ИИ появится цель - уничтожить человечество и получить власть над миром.
Возражение: уже сейчас программисты создают такие сложные нейронные цепи, такие сложные ИИ, что не могут предсказать, как конкретно поступит ИИ в той или иной ситуации. Но цель задают конструкторы - ни один современный ИИ не может хоть на йоту изменить цель своего существования. Другое дело, что цели, которые ставит перед собой человек, бывают порой (часто!) такими сложными и неопределенными, что задавать их ИИ попросту бессмысленно.
Известный исследователь ИИ Стюарт Рассел говорит о том, что, "мы должны задать ИИ правильную цель, но, поскольку мы, похоже, не знаем, как ее программировать, правильный ответ, по-видимому, заключается в том, что робот должен учиться взаимодействовать с людьми, наблюдать за ними".
Идея хороша. ИИ не знает, чего человек хочет. А сам человек знает? И если даже знает, то ведь все люди хотят разного, мечтают о разном, цели разных людей очень часто противоречат друг другу (и возникают мотивы для убийств!).
Рассел приводит в пример историю с царем Мидасом, захотевшим (вот цель!), чтобы все, к чему бы он ни прикоснулся, обращалось в золото. Он и получил в точности то, о чем просил (как если бы его желание исполнил ИИ). Но разве Мидас в действительности хотел именно этого? "Нам не нужно знать, - продолжает Рассел, - чего мы хотим. То, о чем мы просим, не является доказательством того, что это действительно наша цель".
В русской литературе есть более знакомый пример: Золотой шар в фантастической повести Аркадия и Бориса Стругацких "Пикник на обочине". Идеальный ИИ, умеющий выполнять любые желания (наверное, те, что не противоречат законам природы?), но самосознанием не обладающий и, следовательно, собственных целей не имеющий.
"Счастье - для всех, даром!" Прекрасная цель, верно? Но в принципе недостижимая по той простой причине, что счастье - понятие сугубо индивидуальное. Счастье для одного может оказаться несчастьем для другого (в большинстве случаев это так и будет!). Чтобы сделать счастливыми всех, нужно сначала сделать всех одинаковыми!
Наверняка ИИ и не станет такие цели выполнять - не из вредности, поскольку у ИИ нет и вряд ли появятся такое сугубо человеческое качество, мешающее, а не помогающее развитию интеллекта.
Великую и (или) неопределенную цель ИИ "разобьет" на дерево "подцелей".
Говоря о том же царе Мидасе, Рассел приходит к выводу: "Если бы во времена Мидаса существовал ИИ, он объяснил бы царю, что в самой его просьбе есть ошибка, и на самом деле он не хочет, чтобы все, чего он касается, превратилось в золото. ИИ сказал бы Мидасу: "Выбери конкретные объекты, которые ты хочешь сделать золотыми, и тогда твоя просьба будет выполнена".