Аналогичные проблемы могут возникнуть у всех систем социального кредитования и режимов тотальной слежки. Всякий раз, когда они заявляют, что используют всеохватывающие базы данных и сверхточную математику для выявления грешников, террористов, преступников, антисоциальных или не заслуживающих доверия людей, на самом деле они могут с беспрецедентной эффективностью навязывать беспочвенные религиозные и идеологические предрассудки.
КОМПЬЮТЕРНАЯ ОШИБКА
Некоторые люди надеются решить проблему религиозных и идеологических предубеждений, предоставив компьютерам еще больше власти. Аргумент в пользу этого может быть следующим: расизм, женоненавистничество, гомофобия, антисемитизм и все остальные предрассудки зарождаются не в компьютерах, а в психологических состояниях и мифологических убеждениях человеческих существ. Компьютеры - это математические существа, у которых нет ни психологии, ни мифологии. Поэтому, если бы мы могли полностью исключить человека из уравнения, алгоритмы могли бы, наконец, принимать решения на основе чистой математики, свободной от всех психологических искажений или мифологических предрассудков.
К сожалению, многочисленные исследования показали, что компьютеры часто имеют свои собственные глубоко укоренившиеся предубеждения. Хотя они не являются биологическими существами и не обладают сознанием, у них есть нечто похожее на цифровую психику и даже своего рода межкомпьютерная мифология. Они вполне могут быть расистами, женоненавистниками, гомофобами или антисемитами. Например, 23 марта 2016 года компания Microsoft выпустила ИИ-чатбота Tay, предоставив ему свободный доступ к Twitter. Уже через несколько часов Тэй начала публиковать женоненавистнические и антисемитские твиты, такие как "Я чертовски ненавижу феминисток, и все они должны умереть и гореть в аду" и "Гитлер был прав, я ненавижу евреев". Ярость нарастала до тех пор, пока инженеры Microsoft в ужасе не закрыли Tay - всего через шестнадцать часов после его выпуска.
Более тонкий, но широко распространенный расизм был обнаружен в 2017 году профессором Массачусетского технологического института Джой Буоламвини в коммерческих алгоритмах классификации лиц. Она показала, что эти алгоритмы очень точно определяют белых мужчин, но крайне неточно идентифицируют чернокожих женщин. Например, алгоритм IBM ошибался всего на 0,3 % при определении пола светлокожих мужчин, но на 34,7 % при попытке определить пол темнокожих женщин. В качестве качественного теста Буоламвини попросил алгоритмы классифицировать фотографии афроамериканской активистки Соджорнер Трут, известной своей речью 1851 года "Разве я не женщина?". Алгоритмы определили Истину как мужчину.
Когда Буоламвини, которая является американкой ганского происхождения, проверила другой алгоритм анализа лица, чтобы идентифицировать себя, алгоритм вообще не смог "увидеть" ее темнокожее лицо. В данном контексте "видеть" означает способность распознавать присутствие человеческого лица, что используется, например, камерами телефонов для определения места фокусировки. Алгоритм легко видел светлокожие лица, но не лицо Буоламвини. Только когда Буоламвини надел белую маску, алгоритм распознал, что видит человеческое лицо.
Что здесь происходит? Один из ответов может заключаться в том, что инженеры-расисты и женоненавистники закодировали эти алгоритмы таким образом, чтобы дискриминировать чернокожих женщин. Хотя мы не можем исключить возможность того, что такое случается, в случае с алгоритмами классификации лиц или Tay от Microsoft это не было ответом. На самом деле эти алгоритмы сами уловили расистские и женоненавистнические предубеждения из данных, на которых они обучались.
Чтобы понять, как это могло произойти, нужно кое-что рассказать об истории алгоритмов. Изначально алгоритмы не могли многому научиться самостоятельно. Например, в 1980-х и 1990-х годах алгоритмы для игры в шахматы почти всему, что они знали, обучали их программисты-люди. Люди закладывали в алгоритм не только основные правила игры в шахматы, но и то, как оценивать различные позиции и ходы на доске. Например, люди ввели правило, согласно которому жертвовать ферзя в обмен на пешку - обычно плохая идея. Эти ранние алгоритмы смогли победить человеческих мастеров шахмат только потому, что алгоритмы могли просчитать гораздо больше ходов и оценить гораздо больше позиций, чем человек. Но возможности алгоритмов оставались ограниченными. Поскольку они полагались на человека, который должен был рассказать им все секреты игры, если люди-кодеры чего-то не знали, то и созданные ими алгоритмы вряд ли могли это знать.