Epic Systems - крупнейшая в США компания по разработке программного обеспечения для здравоохранения. К 2021 году ее программное обеспечение использовалось в более чем 2400 больницах по всему миру и для ведения медицинских карт примерно двух третей всего населения США. Вооружившись таким обилием данных, Epic разработала различные алгоритмы медицинской диагностики на основе искусственного интеллекта. Например, ее модель для выявления сепсиса широко используется в больницах США. Поскольку эта модель, как и большинство алгоритмов "черного ящика", является собственной, мало кто за пределами компании знает, как она работает, но это не мешает исследователям проверять ее диагностическую валидность. В одном из исследований группа ученых обнаружила, что среди 2 552 пациентов с сепсисом из 38 000 госпитализаций модель Epic не поставила диагноз 67 %; кроме того, среди 7 000 предупреждений о сепсисе, которые выдала модель, только 12 % оказались верными, что привело к огромному количеству ложных срабатываний. 21 В целом использование модели не только подвергает опасности многих пациентов, но и приводит к растрате большого количества ресурсов больницы.
Это исследование - не единичный случай. Другое исследование показало, что точность модели сепсиса Epic с годами снижалась и в конце периода едва превышала случайный уровень . 22 Основной причиной такого снижения является сдвиг данных, который происходит, когда в меняющемся мире популяция меняется со временем, но алгоритм остается неподвижным с момента обучения. Конкретная причина неудачи модели Epic была двоякой: изменение в новой системе кодирования заболеваний, которая не была обновлена в модели, и приток новой группы пациентов. Осознав проблемы, Epic пересмотрела модель. Но будет ли новая модель намного лучше, еще предстоит выяснить.
В целом, проблемы, связанные с предсказаниями вне популяции, сложнее решать для сложных алгоритмов, чем для эвристик. Алгоритмы часто слишком непрозрачны, чтобы можно было понять, почему и когда они совершают ошибки, что затрудняет их улучшение.
В прозрачности мы уверены
Для контроля распространения пандемии COVID-19 китайское правительство использовало приложения для отслеживания местоположения, основанные на искусственном интеллекте и изначально разработанные технологической компанией Alibaba. В каждой провинции или крупном городе было свое приложение для отслеживания, и эти приложения присваивали каждому человеку цветовой код: зеленый (свободное передвижение), желтый (ограниченное передвижение) или красный (запрет на передвижение за пределами места жительства или замкнутого пространства). Один из нас жил в Пекине и ездил в Шанхай летом 2021 года. В один прекрасный день его код в приложении для Пекина стал желтым, а в приложении для Шанхая остался зеленым. Он звонил во всевозможные государственные учреждения, спрашивал о причинах и умолял отменить желтый код, поскольку он не позволял ему купить билеты на поезд или самолет обратно в Пекин. Ответ всегда был один: "Мы приняли ваше дело к сведению и свяжемся с вами в ближайшее время". Прошла неделя, две недели, и на четвертой неделе он наконец стал зеленым. К тому времени он пропустил несколько важных личных встреч, вынужденно задержался в Шанхае и очень разозлился на приложения для отслеживания. Бесчисленное множество людей в Китае сталкивались с подобными проблемами, и некоторые из них ужасно страдали. 23
Эта личная история демонстрирует множество проблем, связанных с решениями, принимаемыми алгоритмами "черного ящика". Во-первых, они мощные, но упрямые; если решение принято, его очень трудно отменить. Во-вторых, люди-операторы, как правило, не знают, как алгоритмы принимают решения, и не имеют представления о том, как исправить ошибку, если она произошла. В-третьих, они медленно учатся на основе обратной связи, возможно, потому, что для обнаружения ошибки в программировании требуется много времени, или потому, что система настолько сложна, что изменение одного кода может случайно привести к другим ошибкам. В-четвертых, они снимают с человека ответственность за принятие решений, что делает их удобными для масштабирования, но затрудняет определение того, кто (или что) виноват, если решение окажется неверным. Наконец, они подвержены злоупотреблениям со стороны контролирующих лиц, и даже если ими не злоупотребляют, есть подозрения в злоупотреблениях, поскольку процесс принятия решений настолько непрозрачен для посторонних. Алгоритмы "черного ящика" используются не только в китайских приложениях для слежки, но и все чаще в организациях по всему миру, чтобы следить за тем, что делают их сотрудники минута за минутой, и принимать решения о том, кого нанимать, увольнять и продвигать по службе.