Еще одна критика теории рациональности лежит в определении места принятия решений, то есть что рассматривается в качестве агентов. Кажется очевидным, что агентами являются люди. Но как быть с семьями, племенами, корпорациями, цивилизациями, государствами? Если обратиться к социальным насекомым, таким как муравьи, можно рассматривать индивидуального муравья как интеллектуального агента, или же интеллект связан со всей муравьиной колонией, с неким синтетическим мозгом, состоящим из мозгов и тел многих муравьев, взаимосвязанных феромонными сигналами, в отличие от сигналов электрических? С эволюционной точки зрения так думать о колонии муравьев, вероятно, более продуктивно, так как муравьи тесно связаны. Отдельно взятые муравьи, как и другие социальные насекомые, по-видимому, не обладают инстинктом самосохранения, в отличие от инстинкта сохранения колонии: они всегда вступают в битву против захватчиков, даже ценой собственной жизни. Иногда и люди поступают так же, чтобы защитить совсем чужих людей. Виду полезно наличие определенной доли индивидуумов, способных пожертвовать собой в бою, или отправиться в экспедиции в неизвестные земли, или воспитывать чужое потомство. В подобных случаях анализ рациональности, основанный на интересах одного индивида, очевидно упускает из виду нечто существенное.
Другие принципиальные возражения против теории полезности носят эмпирический характер — они опираются на экспериментальные свидетельства, заставляющие предположить, что люди иррациональны. Мы систематически не угождаем аксиомам[31]. Я сейчас не ставлю своей целью отстоять теорию полезности как формальную модель человеческого поведения. Действительно, люди не всегда могут вести себя рационально. Наши предпочтения распространяются на всю собственную дальнейшую жизнь, жизни детей и внуков, а также других существ, которые живут сейчас или будут жить в дальнейшем. Тем не менее мы не можем даже сделать правильные ходы на шахматной доске, в крохотном и простом пространстве с четкими правилами и очень коротким горизонтом планирования. Причина не в иррациональности наших предпочтений, а в сложности проблемы принятия решения. В огромной мере наша когнитивная структура занята тем, что компенсирует несоответствие маленького медленного мозга непостижимо громадной сложности проблемы принятия решения, с которой мы постоянно сталкиваемся.
Таким образом, в то время как было бы весьма неразумно основывать теорию выгодного для нас ИИ на предположении, что люди рациональны, можно вполне заключить, что взрослый человек имеет довольно последовательные предпочтения относительно своей дальнейшей жизни. А именно — если бы вы имели возможность посмотреть два фильма, каждый из которых достаточно подробно описывает вашу возможную будущую жизнь, вы могли бы сказать, какой вариант предпочитаете, или выразить безразличие к обоим[32].
Это, возможно, чересчур сильное заявление, если наша единственная цель — гарантировать, чтобы развитие интеллектуальных машин не обернулось катастрофой для человеческой расы. Сама идея катастрофы предполагает жизнь, со всей определенностью не являющуюся предпочитаемой. Таким образом, чтобы избежать катастрофы, нам достаточно заявить, что взрослые люди способны опознать катастрофическое будущее, если оно показано подробно. Конечно, предпочтения людей имеют намного более детальную и, предположительно, проверяемую структуру, чем простое «отсутствие катастрофы лучше, чем катастрофа».
В действительности теория благотворного ИИ может принять во внимание непоследовательность человеческих предпочтений, но непоследовательную часть предпочтений невозможно удовлетворить, и ИИ здесь совершенно бессилен. Предположим, например, что ваши предпочтения в отношении пиццы нарушают аксиому транзитивности:
РОБОТ. Добро пожаловать домой! Хотите пиццу с ананасами?
ВЫ. Нет, пора бы знать, что я больше люблю обычную.
РОБОТ. Хорошо, обычная пицца уже готовится!
ВЫ. Нет уж, мне больше хочется пиццу с сосисками.
РОБОТ. Прошу прощения! Пожалуйста, вот пицца с сосисками!
ВЫ. Вообще-то, лучше уж с ананасами, чем с сосисками.
РОБОТ. Это мой промах, вот вам с ананасами!
ВЫ. Я ведь уже сказал, что мне больше нравится обычная пицца, а не с ананасами.
31
Я вернусь к рассмотрению свидетельств человеческой иррациональности в главе 9. Основные работы по данной теме: Allais, «Le comportement»; Daniel Ellsberg,
32
Следует понимать, что это мысленный эксперимент, который невозможно поставить на практике. Выбор разных вариантов будущего никогда не предстает во всех деталях, и люди никогда не имеют роскошной возможности подробнейшим образом исследовать и оценить эти варианты, прежде чем выбирать. Мы получаем лишь краткие резюме, скажем, «библиотекарь» или «шахтер». Когда человек делает такой выбор, то в действительности ему предлагается сравнить два распределения вероятности по полным вариантам будущего, один из которых начинается с выбора «библиотекарь», а другой — с выбора «шахтер», причем каждое распределение предполагает оптимальные действия со стороны данного человека в рамках каждого будущего. Очевидно, сделать такой выбор непросто.