К сожалению, если реальные компании уже страдают от каких-то укоренившихся предрассудков, детский алгоритм, скорее всего, усвоит эти предрассудки и даже усилит их. Например, алгоритм, ищущий в реальных данных паттерны "хороших сотрудников", может прийти к выводу, что нанимать племянников босса - всегда хорошая идея, независимо от того, какой еще квалификацией они обладают. Ведь данные явно указывают на то, что "племянников босса" обычно берут на работу, когда они претендуют на нее, и редко увольняют. Детский алгоритм заметит эту закономерность и станет кумовьями. Если его поставить во главе отдела кадров, он начнет отдавать предпочтение племянникам босса.
Аналогично, если компании в женоненавистническом обществе предпочитают нанимать мужчин, а не женщин, алгоритм, обученный на реальных данных, скорее всего, уловит и это предубеждение. Так и произошло, когда в 2014-18 годах компания Amazon попыталась разработать алгоритм для отбора заявок на работу. Изучая предыдущие успешные и неуспешные заявки, алгоритм начал систематически понижать рейтинг заявок только за то, что они содержали слово "женщина" или поступали от выпускниц женских колледжей. Поскольку имеющиеся данные показывали, что в прошлом у таких заявок было меньше шансов на успех, алгоритм выработал предубеждение против них. Алгоритм думал, что он просто открыл объективную истину о мире: кандидаты, окончившие женские колледжи, менее квалифицированы. На самом деле он просто усвоил и навязал женоненавистническое предубеждение. Amazon пыталась решить эту проблему, но не смогла, и в итоге отказалась от проекта.
База данных, на которой обучается ИИ, чем-то похожа на детство человека. Детские впечатления, травмы и сказки остаются с нами на всю жизнь. У ИИ тоже есть детский опыт. Алгоритмы могут даже заражать друг друга своими предубеждениями, как это делают люди. Рассмотрим будущее общество, в котором алгоритмы повсеместно распространены и используются не только для отбора кандидатов на работу, но и для того, чтобы рекомендовать людям, что изучать в колледже. Предположим, что в силу существовавших ранее женоненавистнических предубеждений 80 % рабочих мест в инженерной сфере отдается мужчинам. В таком обществе алгоритм, нанимающий новых инженеров, скорее всего, не только скопирует это предубеждение, но и заразит им алгоритмы, рекомендующие колледжи. Молодую женщину, поступающую в колледж, могут отговорить от изучения инженерного дела, поскольку существующие данные указывают на то, что у нее меньше шансов получить работу. То, что начиналось как человеческий межсубъективный миф о том, что "женщины плохо разбираются в инженерии", может превратиться в межкомпьютерный миф. Если мы не избавимся от предубеждения в самом начале, компьютеры могут увековечить и усилить его.
Но избавиться от предвзятости алгоритмов может быть так же сложно, как и от предвзятости людей. После обучения алгоритма требуется много времени и усилий, чтобы "отучить" его. Мы можем решить просто выбросить предвзятый алгоритм и обучить совершенно новый алгоритм на новом наборе менее предвзятых данных. Но где мы найдем набор абсолютно беспристрастных данных?
Многие алгоритмические предубеждения, рассмотренные в этой и предыдущих главах, имеют одну и ту же фундаментальную проблему: компьютер думает, что открыл какую-то истину о людях, а на самом деле он навязывает им порядок. Алгоритм социальных сетей думает, что обнаружил, что людям нравится возмущение, а на самом деле это сам алгоритм обусловил людей производить и потреблять больше возмущения. Такие предубеждения возникают, с одной стороны, из-за того, что компьютеры не учитывают весь спектр человеческих способностей, а с другой - из-за того, что компьютеры не учитывают свои собственные возможности влиять на людей. Даже если компьютеры наблюдают, что почти все люди ведут себя определенным образом, это не значит, что люди обязательно будут вести себя так же. Возможно, это просто означает, что компьютеры сами поощряют такое поведение, наказывая и блокируя альтернативные варианты. Чтобы компьютеры могли более точно и ответственно смотреть на мир, они должны учитывать свою силу и влияние. А чтобы это произошло, люди, которые в настоящее время разрабатывают компьютеры, должны признать, что они не создают новые инструменты. Они высвобождают новые виды независимых агентов и, возможно, даже новые виды богов.