Стив Омохундро указал на другое затруднение, отметив, что разумные существа должны действовать, чтобы обеспечивать свое существование. Это обстоятельство никак не связано с инстинктом самосохранения или любым другим биологическим понятием; все дело в том, что живое существо не способно достигать целей, если оно мертво. Согласно аргументам Омохундро, сверхразумная машина с выключателем – некоторые, включая самого Алана Тьюринга, если вспомнить его выступление на «Радио Би-би-си» в 1951 году, считают, что здесь таится наше потенциальное спасение, – предпримет какие-то меры для того, чтобы так или иначе деактивировать этот выключатель[30]. Следовательно, перед нами встает перспектива появления сверхразумных машин, причем их действия, по определению, будут непредсказуемыми для нас, их нечетко определенные цели будут противоречить нашим собственным, а их мотивация к продлению своего существования ради достижения этих целей может оказаться важнее всякой другой.
Разумеется, на эти аргументы выдвигаются возражения, прежде всего со стороны исследователей в области ИИ. Данные возражения суть естественная защитная реакция, возможно отягощенная недостатком воображения – в частности, относительно способностей сверхразумных машин. Но при ближайшем рассмотрении эти возражения не выдерживают критики. Давайте рассмотрим те, которые звучат чаще всего.
1. Не беспокойтесь, в случае чего мы просто выключим машину[31]. Нередко эта мысль первой приходит на ум непрофессионалу при анализе рисков создания сверхразумного ИИ. Но он как будто не предполагает, что сверхразум этого не понимает. С тем же успехом можно утверждать, что шанс проиграть DeepBlue или AlphaGo ничтожен, если человек будет делать только правильные ходы.
2. Человеческий или сверхчеловеческий уровень для ИИ недостижим[32]. Это необычное заявление для разработчиков и исследователей ИИ, учитывая тот факт, что со времен Тьюринга они отбиваются от аналогичных претензий со стороны философов и математиков. Данное утверждение, не подкрепленное, по-видимому, никакими доказательствами, как бы признаёт, что, если сверхинтеллект вообще возможен, он будет представлять собой немалый риск для человечества. Как если бы водитель автобуса, куда вместилось все человечество, сказал: «Да, я еду к обрыву! Мало того, я давлю педаль газа до упора! Но не сомневайтесь, бензин кончится раньше, чем мы окажемся на краю!» Это заявление выглядит безрассудной ставкой против человеческой изобретательности. Мы делали такие ставки раньше – и проигрывали. 11 сентября 1933 года знаменитый физик Эрнест Резерфорд с полной уверенностью изрек: «Любой, кто ожидает получить источник энергии из превращения этих атомов, несет чепуху». 12 сентября 1933 года Лео Силард открыл ядерную цепную реакцию под действием нейтронов. Несколько лет спустя он продемонстрировал такую реакцию в своей лаборатории в Колумбийском университете. Как он вспоминал позднее: «Мы выключили все приборы и пошли домой. Той ночью я практически уверился в том, что мир обречен на гибель».
3. Еще слишком рано беспокоиться. Когда именно начинать беспокоиться о потенциально серьезных проблемах человечества – это зависит не только от момента возникновения проблем, но и от сроков разработки и реализации решений, позволяющих с ними справиться. Например, обнаружив сегодня большой астероид, который, по расчетам, должен столкнуться с Землей в 2067 году, скажем ли мы, что беспокоиться рано? А если рассматривать глобальные катастрофические риски, которыми чревато изменение климата (как ожидается, все случится уже в текущем столетии), неужели рано принимать меры по их предотвращению? Наоборот, может быть уже поздно. Релевантные временны́е рамки для искусственного интеллекта человеческого уровня менее предсказуемы, но, как и в случае ядерной реакции, подходящие условия могут сложиться значительно раньше, чем ожидалось. Одним из вариантов данного возражения является заявление Эндрю Энга[33] – мол, «с тем же успехом можно беспокоиться насчет перенаселенности Марса». Что ж, перед нами обращение к вроде бы очевидной аналогии: риск видится управляемым и относится к далекому будущему, а также крайне маловероятно, что мы вообще попытаемся переселить миллиарды людей на Марс. Но аналогия вводит в заблуждение. Уже выделяются колоссальные научные и технические ресурсы на разработку все более передовых систем ИИ. Более подходящей аналогией стал бы план по переселению человечества на Марс без единой мысли о том, как мы там будем дышать, что есть и пить по прибытии.
30
Steve Omohundro, «The Basic AI Drives», in Proc. First ОИИ Conf., 171: «Artificial General Intelligence», eds. P. Wang, B. Goertzel, & S. Franklin (IOS press, 2008). –
31
Исследователь искусственного интеллекта Джефф Хокинс, например, пишет: «Некоторые разумные машины будут виртуальными, то есть будут существовать и действовать исключительно в компьютерных сетях… Компьютерную сеть всегда можно отключить, даже если это будет тяжело». См.: https://www.recode.net/2015/3/2/11559576/. –
32
Доклад «AI-100» (Питер Стоун и др.), подготовленный по заказу Стэнфордского университета, сообщает следующее: «В отличие от того, что показывают в кино, расы сверхразумных роботов нет и не предвидится в обозримом или отдаленном будущем». См.: https://ai100.Stanford.edu/2016-report. –
33
Американский ученый, инвестор и предприниматель, соучредитель проекта Google Brain, бывший вице-президент китайской технологической корпорации «Байду», пионер онлайн-обучения (соучредитель проекта Coursera) и т. д.