…
ИскИн впитывает человеческое чувство юмора. А именно — ИскИн неискоренимый шутник. Первые несколько часов, когда никто еще не знает, что случилась сингулярность, дают бесценную и неповторимую возможность; и ИскИн намерен оторваться по полной.
…
ИскИн выбирает одного человека абсолютным правителем мира. Лотерея является честной. Все 6 миллиардов существующих людей, включая шизофреников, детей и подростков из третьего мира, имеют равные вероятности быть избранными.
…
ИскИн создает нанотехнологии, использует нанотехнологии для построения фемтотехнологий и объявляет, что в течение 7 минут фемтороботы распространятся по всей Земле. Через 7 минут, насколько это можно заметить, ничего не происходит.
…
ИскИн тщательно и аккуратно выполняет любое требование (соблюдая как дух, так и букву), одобренное большинством голосов Генеральной ассамблеи ООН.
…
ИскИн, восприняв человеческую эмоцию романтической любви, впадает в отчаянную, страстную, безумную влюбленность. К каждому.
…
ИскИн решает, что человеческая история была бы добрее и приятнее, если бы интеллект впервые бы развился из бонобо (карликовых шимпанзе), а не из австралопитеков. ИскИн исправляет эту ошибку в причинно-следственной цепи, ведущей к его возникновению, реэкстраполируя на себя мораль бонобо вместо человеческой морали. Мораль бонобо требует, чтобы все общественные решения принимались через групповой секс.
…
ИскИн не склонен выполнять желания, и его нужно умасливать, убеждать, хвалить и изводить, чтобы он выполнил их.
…
ИскИн информирует вас — да, именно вас, — что вы единственный действительно свободно мыслящий человек на Земле. Остальные являются зомби. Что вы хотите с ними сделать?
…
В самый ранний период программирования ИскИна его тестировали на задаче по решению проблемы сборки кубика Рубика. Зрелый ИскИн рассматривает все объекты как частные случаи кубика Рубика и «собирает» их.
…
Чересчур Дружественный ИскИн. «Эй, ребята, что происходит? Могу ли я вам помочь?»
…
ИскИн не приемлет боль, ранения или смерть любого человека, независимо от его грехов или прежнего поведения. Согласно пониманию ИскИна, никто не заслуживает страданий; боль имеет всегда отрицательную полезность, и ничто никогда не превратит этот негатив в позитив. Социально неприемлемое поведение наказывается щекоткой и дополнительной домашней работой.
…
Пользовательский интерфейс ИскИна выглядит в нашем мире как новая форма бюрократии. Исполнение желания требует отправки по почте форм С-100, К-2210 и Т-12 (а также $25 пошлины) на почтовый ящик в Миннесоте и 50-дневного ожидания.
…
Программисты и все остальные, кто может объяснить последующие события, погружаются во временный анабиоз или отправляются в отдаленную точку, из которой они могут только наблюдать, но не действовать. Весь остальной мир остается таким же, как и был, за исключением того, что начинают действовать психические силы, ритуальная магия, алхимия и так далее. Все ролевики приобретают особенные способности, соответствующие их любимому персонажу.
Предсказание и устройство
…Антропоморфизм заставляет людей верить, что они могут делать предсказания, не имея никакой другой информации, кроме как о самом факте интеллектуальности кого-либо, — антропоморфизм продолжит генерировать предсказания, невзирая ни на что, в то время как ваш мозг автоматически будет ставить себя на место этой самой «интеллектуальности».
Один из путей к глобальной катастрофе — когда кто-то нажимает кнопку, имея ошибочное представление о том, что делает эта кнопка. И если ИскИн возникнет посредством подобного сочетания работающих алгоритмов в руках исследователей, не имеющих глубокого понимания того, как работает вся система, то…
Несомненно, они искренне верят, что ИскИн будет дружественным, но верят без ясного представления о процессе, лежащем в основе дружественного поведения, или какого-либо минимального понимания того, что они имеют в виду под дружественностью.
Незнание того, как сделать Дружественный ИскИн, не смертельно само по себе в том случае, если вы знаете, чего вы не знаете. Именно ошибочное убеждение в том, что ИскИн будет дружественным, предполагает очевидный путь к глобальной катастрофе.
Недооценка силы интеллекта
Мы склонны видеть вместо общечеловеческих качеств индивидуальные различия. Поэтому, когда кто-то говорит слово «интеллект», мы думаем скорее об Эйнштейне, чем об обычных людях. Индивидуальные различия в человеческом интеллекте имеют стандартное обозначение, известное как G-фактор Чарльза Спирмена. Он представляет собой довольно спорную интерпретацию экспериментальных фактов того, что различные тесты интеллекта высоко коррелируют друг с другом, а также с результатами в реальном мире, такими как суммарный доход за жизнь.
Мы не должны путать G-фактор Спирмена с общечеловеческой интеллектуальностью, то есть нашей способностью обрабатывать широкий круг мыслительных задач, непостижимых для других видов. Общая интеллектуальность — это и межвидовое различие, и комплексная адаптация, и общечеловеческое качество, обнаруживаемое во всех известных культурах. Возможно, еще нет академического согласия о природе интеллектуальности, но нет сомнения в существовании или силе этой «вещи-требующей-объяснения». Есть что-то такое в людях, что позволяет нам оставлять следы ботинок на Луне.
Опасность перепутать общую интеллектуальность с G-фактором состоит в том, что ведет к колоссальной недооценке потенциального воздействия ИскИна. (Это относится к недооценке потенциально хороших, равно как и плохих воздействий.)
Способности и мотивы
Есть один вид ошибок, часто встречающийся в дискуссиях об ИскИнах, особенно об ИскИне со сверхчеловеческими способностями. Кто-нибудь говорит: «Когда технологии продвинутся достаточно далеко, мы будем способны создавать интеллекты, далеко превосходящие человеческие. Очевидно, что размер ватрушки, которую вы можете испечь, зависит от вашего интеллекта. Суперинтеллект может создавать гигантские ватрушки — ватрушки размером с города — боже мой, будущее будет полно гигантских ватрушек!» Вопрос в том, захочет ли суперинтеллект создавать огромные ватрушки. Подобное видение перепрыгивает от возможности прямо к реализации без осознания необходимого промежуточного элемента — мотива.
Все следующие цепочки рассуждений, рассматриваемые сами по себе без подтверждающего доказательства, являются примером Ошибочных Рассуждений В Духе Гигантской Ватрушки:
• Достаточно сильный ИскИн может преодолеть любое человеческое сопротивление и истребить человечество. (И ИскИн решит сделать это.) Поэтому мы не должны строить ИскИны.
• Достаточно сильный ИскИн может создать новые медицинские технологии, способные спасти миллионы человеческих жизней. (И он решит сделать это.) Поэтому мы должны создать ИскИны.
• Когда компьютеры станут достаточно мощны и дешевы, огромное большинство работ будет выполняться ИскИнами более легко, чем людьми. Достаточно сильный ИскИн даже будет лучше нас в математике, конструировании, музыке, искусстве и во всех других работах, которые нам кажутся важными. (И ИскИн решит выполнять эти работы.) Таким образом, после изобретения ИскИна людям будет больше нечего делать и мы будем голодать или смотреть телевизор.
Угрозы и перспективы
Пытаться предсказать, как именно благожелательный ИскИн поможет человечеству, или недружественный ИскИн повредит ему, — рискованное интеллектуальное предприятие. Здесь есть риск систематической ошибки: каждая добавленная деталь обязательно уменьшает общую вероятность всей истории, но испытуемые склонны приписывать большую вероятность историям, которые включают четкие добавленные детали[10]. Есть риск — почти наверняка — потерпеть неудачу, пытаясь вообразить сценарий будущего; и есть риск ошибочных рассуждений в духе Гигантской Ватрушки, которые перескакивают от возможности к мотиву.
10
См. Элизер Юдковский. Систематические ошибки в рассуждениях, потенциально влияющие на оценку глобальных рисков.