На противоположном конце спектра современные тоталитарные режимы, такие как сталинский СССР, считали, что человек способен к почти безграничным изменениям. С помощью неустанного социального контроля можно искоренить даже такие глубоко укоренившиеся биологические характеристики, как эгоизм и семейные привязанности, и создать нового социалистического человека.
Слежка со стороны государственных агентов, священников и соседей была ключевым фактором для навязывания людям как жестких кастовых систем, так и тоталитарных кампаний по перевоспитанию. Новые технологии слежки, особенно в сочетании с системой социальных кредитов, могут заставить людей либо соответствовать новой кастовой системе, либо постоянно менять свои действия, мысли и характер в соответствии с последними указаниями сверху.
Поэтому демократические общества, использующие мощные технологии наблюдения, должны остерегаться крайностей как чрезмерной жесткости, так и чрезмерной податливости. Рассмотрим, например, национальную систему здравоохранения, которая использует алгоритмы для мониторинга моего здоровья. С одной стороны, система может придерживаться слишком жесткого подхода и попросить свой алгоритм предсказать, от каких болезней я могу пострадать. Затем алгоритм изучает мои генетические данные, медицинскую карту, активность в социальных сетях, диету и распорядок дня и приходит к выводу, что вероятность сердечного приступа в пятидесятилетнем возрасте составляет 91 процент. Если этот жесткий медицинский алгоритм будет использоваться моей страховой компанией, он может побудить ее повысить страховой взнос. Если он будет использоваться моими банкирами, он может заставить их отказать мне в кредите. Если его будут использовать потенциальные супруги, они могут решить не выходить за меня замуж.
Но ошибочно думать, что жесткий алгоритм действительно открыл правду обо мне. Человеческое тело - это не неподвижный блок материи, а сложная органическая система, которая постоянно растет, разрушается и адаптируется. Наш разум тоже находится в постоянном движении. Мысли, эмоции и ощущения возникают, вспыхивают на некоторое время и угасают. В нашем мозге новые синапсы образуются в течение нескольких часов. Например, простое прочтение этого абзаца немного меняет структуру вашего мозга, побуждая нейроны создавать новые связи или отказываться от старых. Вы уже немного отличаетесь от того, кем были в начале чтения. Даже на генетическом уровне все удивительно гибко. Хотя ДНК человека остается неизменной на протяжении всей жизни, эпигенетические и экологические факторы могут существенно изменить проявление тех же генов.
Таким образом, альтернативная система здравоохранения может предписать своему алгоритму не предсказывать мои болезни, а помогать мне их избегать. Такой динамический алгоритм может использовать те же данные, что и жесткий алгоритм, но вместо предсказания сердечного приступа в пятьдесят лет он даст мне точные рекомендации по питанию и посоветует регулярные упражнения. Взломав мою ДНК, алгоритм не узнает мою предначертанную судьбу, а скорее помогает мне изменить свое будущее. Страховые компании, банки и потенциальные супруги не должны так легко списывать меня со счетов.
Но прежде чем мы бросимся в объятия динамичного алгоритма, стоит отметить, что у него тоже есть обратная сторона. Человеческая жизнь - это балансирование между стремлением к самосовершенствованию и принятием себя такими, какие мы есть. Если цели динамического алгоритма диктуются амбициозным правительством или безжалостными корпорациями, алгоритм, скорее всего, превратится в тирана, неустанно требующего от меня больше заниматься спортом, меньше есть, сменить хобби и изменить множество других привычек, иначе он донесет на меня работодателю или понизит мой социальный кредитный рейтинг. История полна жестких кастовых систем, которые лишали людей способности меняться, но она также полна диктаторов, которые пытались лепить людей, как глину. Поиск среднего пути между этими двумя крайностями - бесконечная задача. Если мы действительно дадим национальной системе здравоохранения огромную власть над нами, мы должны создать механизмы самокоррекции, которые не позволят ее алгоритмам стать ни слишком жесткими, ни слишком требовательными.
ТЕМПЫ РАЗВИТИЯ ДЕМОКРАТИИ
Наблюдение - не единственная опасность, которую новые информационные технологии представляют для демократии. Вторая угроза заключается в том, что автоматизация дестабилизирует рынок труда, а возникшее напряжение может подорвать демократию. Судьба Веймарской республики - наиболее часто приводимый пример такого рода угрозы. На выборах в Германии в мае 1928 года нацистская партия набрала менее 3 % голосов, и казалось, что Веймарская республика процветает. Менее чем через пять лет Веймарская республика рухнула, и Гитлер стал абсолютным диктатором Германии. Этот поворот обычно связывают с финансовым кризисом 1929 года и последовавшей за ним мировой депрессией. Если до краха на Уолл-стрит в 1929 году уровень безработицы в Германии составлял около 4,5 % от численности рабочей силы, то к началу 1932 года он вырос почти до 25 %.