Возникновение непостижимого инопланетного разума подрывает демократию. Если все больше и больше решений, касающихся жизни людей, принимаются в "черном ящике", так что избиратели не могут понять и оспорить их, демократия перестает функционировать. В частности, что произойдет, если важнейшие решения не только о жизни отдельных людей, но даже о коллективных делах, таких как процентная ставка Федеральной резервной системы, будут приниматься непостижимыми алгоритмами? Люди-избиратели могут продолжать выбирать человека-президента, но не будет ли это пустой церемонией? Даже сегодня лишь малая часть человечества по-настоящему понимает, что такое финансовая система. Исследование ОЭСР, проведенное в 2016 году, показало, что большинство людей с трудом понимают даже такие простые финансовые понятия, как сложные проценты. Опрос британских парламентариев, которым было поручено регулировать один из важнейших финансовых центров мира, в 2014 году показал, что только 12 процентов точно понимают, что новые деньги создаются, когда банки выдают кредиты. Этот факт относится к числу самых основных принципов современной финансовой системы.38 Как показал финансовый кризис 2007-8 годов, более сложные финансовые устройства и принципы, например те, что лежат в основе CDO, были понятны лишь немногим финансовым волшебникам. Что произойдет с демократией, когда искусственный интеллект создаст еще более сложные финансовые устройства, а число людей, понимающих суть финансовой системы, упадет до нуля?
Растущая непостижимость нашей информационной сети - одна из причин недавней волны популистских партий и харизматических лидеров. Когда люди больше не могут разобраться в мире, когда они чувствуют себя перегруженными огромным количеством информации, которую они не могут переварить, они становятся легкой добычей для теорий заговора и обращаются за спасением к тому, что они действительно понимают, - к человеку. К сожалению, хотя харизматичные лидеры, безусловно, имеют свои преимущества, ни один человек, каким бы вдохновляющим или гениальным он ни был, не сможет в одиночку расшифровать алгоритмы, которые все больше и больше доминируют в мире, и обеспечить их справедливость. Проблема в том, что алгоритмы принимают решения, опираясь на множество точек данных, в то время как человеку очень сложно сознательно обдумать большое количество точек данных и взвесить их друг с другом. Мы предпочитаем работать с отдельными точками данных. Вот почему, сталкиваясь со сложными проблемами - будь то просьба о кредите, пандемия или война, - мы часто ищем одну-единственную причину для принятия определенного решения и игнорируем все остальные соображения. Это и есть заблуждение единственной причины.
Мы настолько плохо умеем взвешивать множество различных факторов, что, когда люди называют большое количество причин для принятия того или иного решения, это обычно звучит подозрительно. Допустим, хорошая подруга не пришла на нашу свадьбу. Если она даст нам единственное объяснение - "Моя мама попала в больницу, и я должна была ее навестить", - это звучит правдоподобно. Но что, если она перечислит пятьдесят различных причин, по которым решила не приходить: "Моя мама была немного не в духе, и я должна была отвезти свою собаку к ветеринару на этой неделе, и у меня был проект на работе, и шел дождь, и... и я знаю, что ни одна из этих пятидесяти причин сама по себе не оправдывает моего отсутствия, но когда я сложила их все вместе, они не позволили мне присутствовать на вашей свадьбе". Мы не говорим так, потому что не думаем в таком ключе. Мы не перечисляем в уме пятьдесят различных причин, не придаем каждой из них определенный вес, не суммируем все веса и не приходим таким образом к выводу.
Но именно так алгоритмы оценивают наш криминальный потенциал или нашу кредитоспособность. Алгоритм КОМПАС, например, оценивает риски, принимая во внимание ответы на 137 пунктов анкеты. То же самое можно сказать и о банковском алгоритме, который отказывает нам в кредите. Если правила GDPR ЕС заставят банк объяснить решение алгоритма, это объяснение не будет состоять из одного предложения; скорее всего, оно будет представлено в виде сотен или даже тысяч страниц, заполненных цифрами и уравнениями.