Но что может произойти в будущем, если какой-нибудь алгоритм социального кредита откажет ребенку с низким кредитом в просьбе записаться в школу с высоким кредитом? Как мы видели в главе 8, компьютеры, скорее всего, будут страдать от собственных предубеждений и изобретать межкомпьютерные мифологии и фиктивные категории. Как люди смогут выявлять и исправлять такие ошибки? И как судьи Верховного суда из плоти и крови смогут принимать решения о конституционности алгоритмических решений? Смогут ли они понять, как алгоритмы приходят к своим выводам?
Это уже не чисто теоретические вопросы. В феврале 2013 года в городе Ла-Кросс, штат Висконсин, произошла перестрелка на автомобиле. Позднее полицейские заметили автомобиль, участвовавший в стрельбе, и арестовали водителя, Эрика Лумиса. Лумис отрицал свою причастность к стрельбе, но признал себя виновным по двум менее тяжким обвинениям: "попытка скрыться от сотрудника дорожной полиции" и "управление транспортным средством без разрешения владельца".26 Когда судье предстояло определить меру наказания, он обратился к алгоритму под названием COMPAS, который Висконсин и некоторые другие американские штаты использовали в 2013 году для оценки риска повторного совершения преступления. Алгоритм оценил Лумиса как человека с высоким риском, который, скорее всего, совершит больше преступлений в будущем. Эта алгоритмическая оценка повлияла на судью, который приговорил Лумиса к шести годам лишения свободы - суровое наказание за относительно незначительные правонарушения, в которых он признался.
Лумис подал апелляцию в Верховный суд Висконсина, утверждая, что судья нарушил его право на надлежащую правовую процедуру. Ни судья, ни Лумис не понимали, как алгоритм КОМПАС дает свою оценку, а когда Лумис попросил дать ему полное объяснение, ему было отказано. Алгоритм КОМПАС был частной собственностью компании Northpointe, и компания утверждала, что методология алгоритма является коммерческой тайной. Однако, не зная, как алгоритм принимает решения, как Лумис или судья могли быть уверены, что это надежный инструмент, свободный от предвзятости и ошибок? Впоследствии ряд исследований показал, что алгоритм КОМПАС действительно мог содержать несколько проблемных предубеждений, вероятно, взятых из данных, на которых он обучался.
В деле "Лумис против Висконсина" (2016) Верховный суд Висконсина все же вынес решение не в пользу Лумиса. Судьи утверждали, что использование алгоритмической оценки риска является законным, даже если методология алгоритма не раскрывается ни суду, ни подсудимому. Судья Энн Уолш Брэдли написала, что, поскольку КОМПАС делает свою оценку на основе данных, которые либо находятся в открытом доступе, либо предоставлены самим обвиняемым, Лумис мог бы опровергнуть или объяснить все данные, которые использовал алгоритм. В этом заключении не учитывался тот факт, что точные данные вполне могут быть неверно интерпретированы и что Лумис не мог опровергнуть или объяснить все общедоступные данные о себе.
Верховный суд штата Висконсин не был полностью лишен понимания опасности, связанной с использованием непрозрачных алгоритмов. Поэтому, разрешив такую практику, он постановил, что всякий раз, когда судьи получают алгоритмические оценки риска, они должны содержать письменное предупреждение для судей о потенциальной предвзятости алгоритмов. Суд также посоветовал судьям быть осторожными, полагаясь на такие алгоритмы. К сожалению, эта оговорка оказалась пустым жестом. Суд не дал судьям никаких конкретных указаний относительно того, как им следует проявлять такую осторожность. В своем обсуждении этого дела Гарвардское юридическое обозрение пришло к выводу, что "большинство судей вряд ли поймут алгоритмические оценки рисков". Затем он процитировал одного из судей Верховного суда штата Висконсин, который отметил, что, несмотря на подробные объяснения алгоритма, им самим было сложно его понять.
Лумис подал апелляцию в Верховный суд США. Однако 26 июня 2017 года суд отказался рассматривать это дело, фактически поддержав решение Верховного суда Висконсина. Теперь подумайте о том, что алгоритм, который в 2013 году оценил Лумиса как человека с высоким уровнем риска, был ранним прототипом. С тех пор были разработаны гораздо более сложные и изощренные алгоритмы оценки риска, которым были предоставлены более широкие полномочия. К началу 2020-х годов граждане многих стран будут регулярно получать тюремные сроки, частично основанные на оценках риска, сделанных алгоритмами, которые не понимают ни судьи, ни обвиняемые. И тюремные сроки - это только верхушка айсберга.