В статье в Nature Кейт Кроуфорд и Райан Кало отмечали опасность того, «что в ряде контекстов недостатки систем искусственного интеллекта чрезвычайно влияют на группы, которые и без того находятся в невыгодном положении из-за таких факторов, как расовая принадлежность, пол или социально-экономические условия», и подчеркивали, насколько важно при проектировании таких систем учитывать социальные воздействия – как намеренные, так и непреднамеренные[143].
Мы разделяем эту озабоченность и видим в тенденции к алгоритмическому принятию решений как вероятные проблемы, так и благоприятные возможности. Проблемы состоят в том, что такой подход способен укоренить и закрепить несправедливые, опасные и нежелательные искажения. Хуже того, такие искажения могут возникать, несмотря на искреннее желание разработчиков создавать по-настоящему беспристрастные системы, и, вероятно, их будет трудно обнаружить без масштабного тестирования. Любой проект обязательно столкнется с такой проблемой.
Благоприятные возможности состоят в том, что компьютерные системы, как правило, легко поддаются тестированию и улучшению. И если какую-то ошибку однажды исправить, то маловероятно, что она проявится снова. Людям, напротив, крайне трудно разобраться в своих предрассудках (сколько явных расистов и сексистов вы знаете?), не говоря уже о том, сколько труда нужно для их преодоления. Если смотреть на ситуацию реалистично, то для систем, принимающих решение, идеальным не будет ни один стандарт – хоть на основе компьютера, хоть на основе человека, хоть на их сочетании. Любая система, скорее всего, будет содержать искажения и делать ошибки. Так что лучше поставить цель выработать такой подход, который сведет их к минимуму и позволит легко и быстро их исправлять.
Какую роль в принятии решений должны играть люди (и должны ли вообще)? Мы уже знаем об искажениях и ошибках Системы 1, у нас есть океаны данных и растущие с каждым годом вычислительные мощности, так что можно сделать вывод, что «невидимая экономика» вот-вот вытеснит традиционную, а цифровые аналоги Системы 2 вскоре станут принимать большинство решений. Есть такая старая шутка: в будущем на каждом заводе останется всего два работника – человек и собака. Обязанностью человека будет кормить собаку, а обязанностью собаки – следить, чтобы человек не касался машин[144]. А может, действительно компании завтрашнего станут такими?
Мы так не думаем. Да, у нас есть предрассудки, которых нет у компьютеров. Но у нас есть и сильные стороны, которых лишены машины. Начнем с того, что мы постоянно получаем от своих органов чувств невообразимое количество данных и при этом не занимаемся предварительным отбором – просто вбираем их целиком по мере поступления. Нам трудно слышать только некоторые звуки или видеть только некоторые вещи – даже в течение короткого времени. Компьютеры ведут себя наоборот: они испытывают огромные трудности в сборе разнородных данных или данных, отличных от тех, с которыми им позволили работать конструкторы и программисты.
Эта разница приводит к появлению важной работы для людей – Мил назвал ее «ролью сломанной ноги»[145]. Для иллюстрации своей идеи он придумал такой пример. Некий профессор каждый вторник в течение нескольких лет ходит в кино. Разумеется, компьютер спрогнозирует, что он снова пойдет туда и на следующей неделе. И вдруг в ближайший вторник утром профессор ломает ногу, и гипс на бедре не позволяет ему втиснуться в кресло кинотеатра (пример был придуман в 1954 году). Любой человек мгновенно поймет, что вечер у профессора не задался, но такую догадливость непросто включить в алгоритм компьютера. Существует слишком много различных непредвиденных факторов, влияющих на поведение профессора[146]. Кто бы ни разрабатывал компьютерную систему, он не в силах собрать достаточно данных обо всех факторах, чтобы программа могла их учесть. Единственный способ сделать это – иметь всеобъемлющую модель мира, в отличие от той, что есть у компьютера.
143
Kate Crawford and Ryan Calo, “There Is a Blind Spot in AI Research,” Nature 538, no. 7625 (2016): 311. Подходит также диссертация Даны Бойд: “The Networked Nature of Algorithmic Discrimination” (PhD diss., Fordham University, 2014).
144
Mark Fisher,
145
Paul E. Meehl,
146
Paul E. Meehl,