Существует целый класс этических проблем, связанных с этикой предсказуемости. Множество программ ИИ пишется для решения прогностических задач. Для ряда программ (например, в области медицины) уровень их эффективности достаточно высок и продолжает расти. Однако при непосредственном взаимодействии человека и программы на стороне человека могут возникать коллизии этического характера. В частности, не ясно, в какой степени пациенты должны и желают знать исход протекающего заболевания, риски возникновения новых заболеваний, характер новых болезней и проч. Также не вполне ясно, как должно регулироваться поведение лечащих врачей в ситуации такой осведомленности и широких возможностей прогнозирования, которая обеспечивается ИИ.
Точно так же программы по тестированию психологической совместимости (например, супружеских пар) могут иметь высокую предсказательную силу. Агент ИИ на основе уже известной информации о человеке может моделировать ценности и поведение людей, которые он наблюдает в течение достаточно длительного периода времени и лучше человека может предсказывать результаты выбора разных опций. Но последствия такого взаимодействия между ИИ и человеком представляют собой этическую трудность.
Также различные программы тестирования способностей студентов или планирования профессиональных и карьерных портфолио для абитуриентов сталкиваются с проблемой готовности пользователя программы ознакомиться с результатом. В последующем могут возникать различные виды субъективного дискомфорта, связанного с «программированием» выбора или эффектами снижения мотивации и проч.
Решение данных вопросов осложняется тем, что формализовать человеческий запрос не всегда возможно. Ряд авторов [Мuehlhauser, Helm, 2012] пришли к выводу, что люди не могут точно описать свои собственные ценности. Часто мы можем наблюдать у людей противоречия в их ценностной системе или отсутствие однозначных ответов на этические вопросы. Решения, принятые быстро, могут разительно отличаться от решений, которые долго продумывались или обсуждались. Ценности также могут изменяться в зависимости от пережитого опыта, под влиянием ближайшей среды и т. д.
В целом «ценностные» установки большинства программ ИИ на сегодняшний день – оптимизационные (или утилитарные). Таким образом, этический Кодекс ИИ – прагматический.
В связи с этими установками возникает масса проблем. Например, при выполнении инструкций по максимизации прибыли «Максимально увеличить прибыль, но никому не навредить» – для ИИ остается неясным, что имеется в виду под вредом. Идет ли речь о том, что не стоит заключать жесткие сделки, или не следует продавать никому то, что им не нужно? «Размышляя» над этими вопросами, ИИ может прийти к выводу, что в случае соблюдения всех этих правил, акционеры, сотрудничавшие с компанией, могут потерять свои деньги, что, действительно, причинит им вред [Raphael, 2009].
Есть и другой аспект. Поскольку рациональный агент выбирает действия для максимизации ожидаемой суммы функций полезности, он может выбирать действия, которые не увеличивают полезность в краткосрочном периоде, но в целом увеличивают его способность повысить полезность в будущем. Такие действия могут включать в себя самозащиту, увеличение собственных ресурсов и возможностей агента.
Если углубляться в детали этих компромиссов, то придется пересматривать этическую модель ИИ. Однако проблема не только в том, что недостаточно провести изменения в инструкции высокого уровня (такой как «максимизация прибыли»). Не совсем ясно, как сформулировать инструкции для ИИ так, чтобы сбалансировать двусмысленность максимизации прибыли с минимизацией вреда. Прибыль – это ценность, связанная с результатами, но существуют и другие способы определения ценности результатов, которые в более общем плане влияют на благосостояние человека [Arkin, 2013].
Процесс человеческой оценки тех или иных ситуаций зависит от слишком многих правил, условий и влияния среды, чтобы его можно было сформулировать через перечень конкретных аналитических высказываний. Существует мнение, что в силу отсутствия таких правил или точных способов их поиска [Tasioulas, 2017], более успешной стратегией является использование статистических данных для решения различных дилемм (как люди и с какой частотой поступают в конкретных ситуациях). Это было бы более эффективным способом взаимодействия с ИИ, однако потребовалась бы огромнейшая база данных и сложные алгоритмы ИИ для такого масштабного исследования человеческих ценностей статистическим путем. Это создает проблему курицы и яйца для этического ИИ: изучение человеческих ценностей требует мощного ИИ, но этический ИИ требует знания человеческих ценностей.