Многие читатели уже наверняка с ней знакомы, поэтому в качестве примера приведу ее безумную версию от Элиезера Юдковского:
Предположим, что четыре миллиарда человеческих существ – не весь род человеческий, но его значительная часть – заразились смертельной болезнью, излечиться от которой можно только с помощью вещества S. Однако добыть вещество S можно только совместно со [странным искусственным интеллектом из другого измерения, у которого лишь одна цель – увеличить количество канцелярских скрепок], для изготовления которых тоже можно использовать вещество S. Искусственный интеллект волнует лишь количество скрепок в его мире; судьба наших скрепок ему безразлична, так что люди не могут предложить ему произвести у себя побольше скрепок или пригрозить уничтожить все свои скрепки. До этого мы никак не взаимодействовали с искусственным интеллектом и после тоже никогда не будем. Прежде чем портал между мирами захлопнется, и у человечества, и у искусственного интеллекта будет шанс захватить дополнительную часть вещества S, но сам процесс захвата уничтожит некоторое количество этого вещества.
Матрица выигрышей будет выглядеть примерно так.
Для нас очевидно, что с практической и, в данном случае, с моральной точки зрения нам лучше всего выбрать предательство: одна скрепка в другой вселенной никак не может стоить миллиарда жизней. Для ИИ очевидно, что предательство с его стороны в любом случае обеспечит ему дополнительную скрепку, а ценность человеческой жизни его код приравнивает к нулю; следовательно, он тоже выберет предательство. Однако при таком раскладе все получат худший результат, чем при обоюдной готовности пойти на сотрудничество. Но если бы ИИ согласился сотрудничать, а мы выбрали предательство, то смогли бы спасти еще больше жизней, а ИИ, при обратном раскладе, мог бы добыть еще одну скрепку.
В реальном мире многие дилеммы заключенного с двумя сторонами и небольшим масштабом разрешаются через механизмы торговли и судебный контроль за соблюдением контрактов и законов. В нашем примере это мог бы быть бог с абсолютной властью над обеими вселенными, которого заботило бы только соблюдение предварительных договоренностей: тогда люди и искусственный интеллект могли бы подписать контракт о сотрудничестве и попросить бога не допустить предательства с обеих сторон. Когда у сторон нет возможности заключить предварительный контракт, законы предусматривают наказание за одностороннее нарушение. Но во многих ситуациях, особенно если в них задействовано много сторон, возможности для предательства все равно остаются:
░ Алиса продает лимоны, но сейчас они подгнили, и покупателям придется сразу выбросить такой товар. Должна ли она продавать лимоны? (Нужно иметь в виду, что на этом рынке очень много продавцов и за репутацией каждого не уследишь.) Ожидаемая выгода для Алисы: $5 выручки за лимон минус $1 расходов на доставку/хранение = $4. Ожидаемые потери для общества в целом: $5 выручки минус $1 расходов минус $5 потраченных впустую денег покупателя = —$1. Алиса в итоге продает лимоны.
░ Должен ли Боб пожертвовать $1000 на разработку Bitcoin? Ожидаемая выгода для общества: $10 × 100 000 человек минус $1000 = $999 000, ожидаемая выгода для Боба: $10 минус $1000 = —$990, так что Боб не жертвует деньги.
░ Чарли нашел чужой кошелек, в котором было $500. Должен ли он вернуть его? Ожидаемая выгода для общества: $500 (получателю) минус $500 (потеря Чарли) плюс $50 (нематериальная выгода для общества от того, что каждый может немного меньше беспокоиться о сохранности своих кошельков). Ожидаемая выгода для Чарли: —$500, так что он оставляет кошелек себе.
░ Должен ли Дэвид снизить расходы своей фабрики за счет сброса токсичных отходов в реку? Что в этом случае получит общество: экономия Дэвида $1000 минус увеличение средних медицинских расходов на $10 × 100 000 человек = —$99 900. Что получит Дэвид: $1000 минус $10 = $990. Дэвид выбирает загрязнение окружающей среды.
░ Ева разработала лекарство от одного вида рака, и производство необходимой дозы обходится в $500. Она может продать его за $1000, и тогда 50 000 больных смогут позволить себе лечение, или за $10 000, и тогда лекарство смогут купить 25 000 больных. Должна ли она продавать лекарство по более высокой цене? Что в этом случае получит общество: −25 000 жизней (включая прибыль Евы, которая компенсирует потери более богатых покупателей). Что получит Ева: доход в размере 237,5 миллиона долларов вместо 25 миллионов долларов, то есть ее выгода составит 212,5 миллиона долларов. Ева выставляет более высокую цену.