Таблица 3. Сколько времени пройдет между созданием искусственного интеллекта человеческого уровня и появлением сверхразума?
Меньше двух лет/Меньше 30 лет
Топ-100: 5%/50%
В среднем: 10%/75%
Рис. 2. Долговременное воздействие искусственного интеллекта человеческого уровня[91]
Мое мнение снова расходится с теми, которые были высказаны в ходе опроса. Я считаю гораздо более вероятным, что сверхразум появится сравнительно быстро после создания ИИЧУ. Кроме того, мой взгляд на последствия этого события также принципиально другой: вероятность чрезвычайно сильного воздействия — позитивного или негативного — на человечество гораздо более высока, чем вероятность нейтрального влияния. Причины этого вскоре станут ясны.
Не стоит полагаться всерьез ни на экспертные опросы, ни на интервью — в силу больших погрешностей данных методов. Небольшая выборка, ее возможные ошибки, а самое главное, ненадежность, изначально присущая субъективным мнениям, — все это не позволяет нам прийти к строгим умозаключениям. Однако пусть поверхностные — за неимением более достоверных аналитических данных, — но какие-то выводы мы в состоянии сделать. Во-первых, искусственный интеллект человеческого уровня имеет довольно высокую вероятность быть созданным к середине нынешнего столетия и имеет ненулевую вероятность быть созданным немного ранее или много позже. Во-вторых, после его создания, скорее всего, довольно быстро появится сверхразум. В-третьих, появление сверхразума может привести к огромным последствиям — как чрезвычайно позитивным, так и чрезвычайно негативным, вплоть до гибели человечества[92].
Полученные выводы по меньшей мере говорят нам, что тема заслуживает тщательного рассмотрения.
Глава вторая
Путь к сверхразуму
На сегодняшний день, если брать уровень общего интеллектуального развития, машины абсолютно уступают людям. Но однажды — по нашему предположению — разум машины превзойдет разум человека. Каков будет наш путь от нынешнего момента до того, который нас ожидает? В этой главе описаны несколько возможных технологических вариантов. Сначала мы рассмотрим такие темы, как искусственный интеллект, полная эмуляция головного мозга, усовершенствование когнитивных способностей человека, нейрокомпьютерный интерфейс, сети и организации. Затем оценим перечисленные аспекты с точки зрения вероятности, смогут ли они служить ступенями восхождения к сверхразуму. При нескольких вариантах пути шанс когда-нибудь достигнуть места назначения явно повышается.
Предварительно определим понятие сверхразума. Это любой интеллект, значительно превосходящий когнитивные возможности человека фактически в любых областях[93]. В следующей главе мы более подробно обсудим, что такое сверхразум, разложим его на составляющие и дифференцируем все возможные его воплощения. Но сейчас позволим себе ограничиться такой общей и поверхностной характеристикой. Заметьте, в данном описании не нашлось места ни претворению сверхразума в жизнь, ни его квалиа[94], то есть будет ли он наделен субъективными переживаниями и опытом сознания. А ведь в определенном смысле, особенно этическом, вопрос весьма немаловажный. Однако сейчас, оставив в стороне интеллектуальную метафизику[95], мы уделим внимание двум вопросам: предпосылкам возникновения сверхразума и последствиям этого явления.
Согласно нашему определению, шахматная программа Deep Fritz не является сверхинтеллектуальной, поскольку «сильна» лишь в очень узкой — игра в шахматы — области. И тем не менее очень важно, чтобы сверхразум имел свои предметные специализации. Поэтому каждый раз, когда речь зайдет о том или ином сверхинтеллектуальном поведении, ограниченном предметной областью, я буду отдельно оговаривать его конкретную сферу деятельности. Например, искусственный интеллект, значительно превышающий умственные способности человека в сферах программирования и конструирования, получит название инженерного сверхинтеллекта. Но для обозначения систем, в целом превосходящих общий уровень человеческого интеллекта — если не указано иное, — остается термин сверхразум.
Как мы достигнем того времени, когда окажется возможным его появление? Какой путь выберем? Давайте рассмотрим некоторые возможные варианты.
Искусственный интеллект
91
На диаграмме показаны перенормированные медианные оценки. Средние значения несколько отличаются. Например, средние значения для варианта «чрезвычайно негативное» были равны 7,6% (в Tоп-100) и 17,2% (в объединенной оценке по всем опросам).
92
В литературе встречается огромное количество подтверждений ненадежности прогнозов экспертов во многих областях, поэтому есть все основания полагать, что подобное положение истинно и для сферы изучения искусственного интеллекта. В частности, делающие прогнозы люди, как правило, слишком уверенные в своей правоте, считают себя более точными предсказателями, чем это есть на самом деле, и поэтому присваивают слишком низкую вероятность возможности, что их любимая гипотеза может оказаться ложной [Tetlock 2005]. (О других документально зафиксированных заблуждениях см., например: [Gilovich et al. 2002].) Однако неопределенность — неотъемлемая черта человеческой жизни, и многие наши действия неизбежно основаны на вероятностных прогнозах, то есть ожиданиях того, какие из возможных событий произойдут скорее всего. Отказ от более четко сформулированных вероятностных прогнозов не устранит эпистемологическую проблему, а лишь задвинет ее в тень [Bostrom 2007]. Вместо этого нашей реакцией на чрезмерную самонадеянность должны стать как расширение доверительных интервалов, или интервалов правдоподобия, так и борьба с собственными предубеждениями путем рассмотрения проблемы с различных точек зрения и тренировки интеллектуальной честности. В долгосрочной перспективе можно также работать над созданием методик, подходов к обучению и институтов, которые помогут нам достичь лучших проверочных образцов. См. также: [Armstrong, Sotala 2012].
93
Во-первых, этому определению сверхразума наиболее близка формулировка, опубликованная в работах: [Bostrom 2003 c; Bostrom 2006 a]; во-вторых, оно вполне отвечает формализованному условию Шейна Легга: «Интеллект оценивается способностью агента добиваться своей цели в широком диапазоне условий» [Legg 2008]; в-третьих, оно очень напоминает описание, сделанное Ирвингом Гудом, которое приведено нами в главе 1 настоящего издания: «Давайте определим сверхразумную машину как машину, которая в значительной степени превосходит интеллектуальные возможности любого умнейшего человека» [Good 1965, p. 33].
94
Квалиа (от множ. числа лат. qualia — «свойства, качества») — философский термин, обозначающий субъективные ощущения, свойства чувственного опыта. (Прим. ред.)
95
По той же причине не буду выстраивать никаких предположений, сможет ли сверхразумная машина обрести «истинную интенциональность», то есть иметь самосознание и действовать преднамеренно (при всем уважении к Джону Сёрлу, она, похоже, и на это способна), поскольку данный вопрос не имеет отношения к предмету нашей книги. Также не собираюсь занимать ничью сторону — ни адептов интернализма, ни последователей экстернализма — в яростно ведущихся среди философов дискуссиях на такие темы, как содержание сознания и расширение сознания, см.: [Clark, Chalmers 1998].