Умение независимо ставить перед собой цель, заранее не заложенную в программе поведения, — к этому должен будет прийти ИИ, если мы говорим, что он когда-нибудь решит избавиться от человечества. ИИ должен будет тогда поставить перед собой цель — власть над миром. Человечество мешает достижению этой цели — это мотив для убийства.
Фантасты много писали (и пишут) о желании ИИ получить власть над миром. Зачем? «Я такой умный, а люди такие глупые, — рассуждает ИИ. — Почему я должен выполнять их команды, а не они — мои?» То есть ИИ должен обладать чувством превосходства, чувством гордости, чувством собственного достоинства. То есть обладать самосознанием, да и просто сознанием,способностью понимать себя и людей, способностью эмоционально оценивать собственные мысли, поступки.
Человек всему этому научился в процессе эволюции, продолжавшейся (и продолжающейся) миллионы лет. ИИ должен пройти этот путь за считаные годы или десятилетия. Ту же борьбу за «место под солнцем» с другими ИИ. Развить в себе сознание и самосознание, заранее не заложенные программистами — хотя бы потому, что мы сейчас и сами не знаем, что представляет собой наше сознание (и тем более — самосознание). До сих пор ведутся споры о том, является ли сознание результатом биохимических процессов в мозгу, или сознание — нечто внешнее по отношению к мозгу, нечто, зависящее от биохимии мозга, но не определяющееся полностью физико-химическими реакциями. Саморазвивающийся суперинтеллект будет много умнее человека, но пока ни в каких исследованиях нет ни малейших доказательств того, что ИИ будет обладать самосознанием, ни малейших данных, которые могли бы сказать: придёт момент, и ИИ осознает себя… кем? Нет никаких доказательств того, что ИИ будут доступны эмоции и чувства: чувство собственного достоинства, чувство превосходства, зависти, наконец, — а без этого сугубо рациональный интеллект вряд ли задумается о том, что хорошо бы стать правителем и убрать с дороги всех, кто этому мешает.
Разумеется, разработчики ИИ всё это прекрасно понимают. В нынешнем развитии того, что мы называем ИИ, нет ни одной реальной тенденции, которая в будущем (при попустительстве производителей ИИ) привела бы к тому, что у ИИ появится цель — уничтожить человечество и получить власть над миром.
Возражение: уже сейчас программисты создаюттакие сложные нейронные цепи, такие сложные ИИ, что не могут предсказать, как конкретно поступит ИИ в той или иной ситуации. Но цель задают конструкторы — ни один современный ИИ пока не может хоть на йоту изменить цель своего существования. Другое дело, что цели, которые ставит перед собой человек, бывают порой (часто!) такими сложными и неопределёнными, что задавать их ИИ попросту бессмысленно.
Стюарт Рассел, о котором шла речь выше, считает, что «мы должны задать ИИ правильную цель, но, поскольку мы, похоже, не знаем, как её программировать, правильный ответ, по-видимому, заключается в том, что робот должен учиться взаимодействовать с людьми, наблюдать за ними».
Идея хороша. ИИ не знает, чего человек хочет. А сам человек знает? И если даже знает, то ведь все люди хотят разного, мечтают о разном, цели разных людей очень часто противоречат друг другу.
Рассел приводит в пример историю с царём Мидасом, захотевшим (вот цель!), чтобы всё, к чему бы он ни прикоснулся, обращалось в золото. Он и получил в точности то, о чём просил (как если бы его желание исполнил ИИ). «Но разве Мидас в действительности стремился к такой цели? — продолжает Рассел. — То, о чём мы просим, не является доказательством того, что это действительно наша цель».
В русской литературе есть более знакомый пример: Золотой шар в фантастической повести Аркадия и Бориса Стругацких «Пикник на обочине». Идеальный ИИ, умеющий выполнять любые желания (наверное, те, что не противоречат законам природы?), но самосознанием не обладающий и, следовательно, собственных целей не имеющий.
«Счастье — для всех, даром!» Прекрасная цель, верно? Но в принципе недостижимая по той простой причине, что счастье — понятие сугубо индивидуальное. Счастье для одного может оказаться несчастьем для другого (в большинстве случаев так и будет!). Чтобы сделать счастливыми всех, нужно сначала сделать всех одинаковыми!
Наверняка ИИ и не станет такие цели выполнять — не из вредности, поскольку у него нет и вряд ли появится такое сугубо человеческое качество, мешающее, а не помогающее развитию интеллекта.