Сверхразумные машины
Названные мною десять причин того, что технологическая сингулярность может не случиться, не означают, что она точно никогда не наступит. Вероятность этого все равно остается. Однако я надеюсь, мне удалось убедить вас в том, что эта вероятность далеко не стопроцентная. Как и многие мои коллеги, пытавшиеся создать машины хотя бы со скромным интеллектом, я сомневаюсь, что мы в скором времени построим машину, способную бесконечно развиваться самостоятельно. Если все будет именно так, то технологическая сингулярность по-прежнему останется интересной, но фантастической идеей.
Несмотря на то что я скептически отношусь к идее сингулярности, это не значит, что мы не создадим машины, способные мыслить как человек или даже лучше. Я уверен, что мы к этому придем. Еще бы, ведь я потратил всю свою сознательную жизнь на то, чтобы приблизиться к этой цели. Нет ничего особенного в нашем интеллекте, как и в целом в нашей биологии. Именно поэтому я думаю, что рано или поздно мы создадим машины, способные мыслить. Возможно, их разум будет работать совсем иначе, чем наш[37]. Но скорее всего они достигнут нашего уровня. А если им удастся сравняться с нами, то трудно предположить, что может им помешать нас опередить. В определенных областях им это уже удалось. Кроме того, у них есть некоторые «врожденные» преимущества по сравнению с людьми.
Однако мне не верится, что сверхразум появится сам по себе, пока мы просто будем наблюдать за тем, как компьютеры развиваются самостоятельно. Я больше склонен считать, что мы добьемся этого таким же способом, как добивались других технологических открытий: тяжелым трудом, развитием науки с помощью изобретательности, программированием машин на то, чтобы они были умнее нас.
AlphaGo научилась играть в го лучше, чем любой человек. Однако ее навык обучения остался на прежнем уровне. Если попросить AlphaGo сыграть в го на доске 9×9 для начинающих, ей придется учиться заново, почти с нуля. Мы пока не знаем, как транспонировать знания, полученные ею на большой доске, для игры на маленькой. Человек, умеющий играть в го, легко сможет сразу начать играть на простой доске.
Искусственному интеллекту все еще далеко до человеческого уровня, а тем более до сверхчеловеческого. Тем не менее я уверен, что мы к этому придем. Мы создадим машины, которые будут лучше нас. Они будут сильнее, быстрее, умнее нас. Однако я все же надеюсь, что они нас не заменят, а дополнят и расширят наши возможности.
Угроза нашему существованию
Голливуд заставил нас волноваться, как бы злые роботы не попытались захватить планету. Согласно фильму, Терминатор появится только в 2029 году, а значит, у нас есть еще около десяти лет. Прав ли был Стивен Хокинг, когда заявил, что сверхинтеллект – самая большая угроза нашему существованию? Прямо сейчас мы – самые разумные существа на планете, а все остальные зависят только от нашей воли. Не будет ли наша судьба зависеть от воли этих сверхразумных машин? Перейдем к вопросу о том, могут ли они просто-напросто нас уничтожить. Будет ли их появление означать конец человечества?
Машины обычно изображаются в кино злыми. Однако бо́льшие опасения должна вызывать некомпетентность. Разумеется, необходимо учитывать вероятность, что сверхразумные машины могут случайно покончить с человечеством. Есть несколько вариантов, как это может произойти.
Прикосновение Мидаса
Наиболее вероятный сценарий заключается в вероятности того, что цели такого компьютера будут недостаточно точно прописаны. В качестве аналогии подходит греческий миф о царе Мидасе, который получил желанный дар – обращать все, к чему прикасается, в золото. Однако царь неудачно сформулировал свое желание: он ведь не хотел, чтобы его еда или родная дочь превращались в золото.
Можно поспорить, что в истории ИИ уже бывали такие случаи, только в более безопасных условиях. Например, исследователи ставили эксперимент, в котором научили компьютер играть в Coast Runners, игру, в которой нужно участвовать в гонках по воде. ИИ предпочитал не доезжать до конца маршрута, а делать небольшие круги, врезаясь в другие лодки, потому что это приносило очки быстрее, чем прохождение гонки.
Будучи умными, такие машины могут достигать поставленных целей удивительными путями. Например, поставим перед компьютером задачу устранить рак. Один из способов это сделать – уничтожить каждого носителя раковых клеток, то есть все человечество. Не совсем то, что мы имели в виду, когда ставили задачу.
Подобные примеры рисуют довольно мрачную картинку. Если бы я поручил вам вылечить рак, а вы бы начали убивать людей, то я, вероятно, решил бы, что не так уж вы и умны. Мы предполагаем, что умные люди усвоили правильные моральные нормы и сочувствуют другим, особенно тем, у кого есть разум и чувства. Разве не должен тогда сверхразум обладать этими же качествами наравне с интеллектом?
37
Эдсгер Дейкстра (1930–2002), авторитетный голландский ученый, однажды сказал, что «вопрос о том, могут ли машины думать, так же уместен, как и вопрос, могут ли подводные лодки плавать» (Южная региональная конференция ACM. Остин, Техас. Ноябрь 1984 г.).