Именно как существо, обладающее сознанием, вы мечтаете об отпуске, прогулке в лесу или изысканных трапезах. Сознание настолько близко, настолько знакомо каждому, что оно естественным образом воспринимается в основном через призму личного опыта. В конце концов, не обязательно читать учебник по нейробиологии, чтобы понять, как ощущается обладание сознанием. Сознание и есть, по существу, внутреннее ощущение. Именно этот базовый элемент – осознанное переживание – служит, на мой взгляд, признаком обладания разумом.
Суть второй сюжетной линии книги заключается в том, что неспособность продумать философские последствия создания искусственного интеллекта (ИИ) может положить конец дальнейшему процветанию существ, обладающих сознанием. При недостаточной осмотрительности реализация технологии ИИ может выйти нам боком, иначе говоря, вместо упрощения жизни принести страдания, гибель или эксплуатацию людей.
Некоторые связанные с ИИ угрозы процветанию человечества обсуждаются уже давно. Это и хакеры, способные нарушить работу сетей электроснабжения, и сверхразумные автономные системы вооружения, пришедшие словно из фильма «Терминатор». Я же поднимаю вопросы, привлекающие куда меньше внимания. Однако они не менее значимы. Порочная реализация ИИ, о которой я говорю, имеет две разновидности: (1) непредусмотренные ситуации, связанные с созданием мыслящих машин, и (2) последствия радикального расширения возможностей мозга, подобного тому, что предлагается в гипотетическом Центре конструирования разума. Рассмотрим эти опасности по очереди.
Машины, обладающие сознанием?
Предположим, мы умеем создавать совершенные универсальные искины – такие, что могут легко переходить от одного вида интеллектуальной деятельности к другому и даже соперничать с людьми по способности рассуждать. Будет ли это означать, что мы, по существу, умеем создавать машины, обладающие сознанием, – машины, которые являются одновременно личностями и субъектами переживания?
Когда дело доходит до вопроса о том, способны мы создать машинное сознание или нет, следует честно признаться, что никто этого не знает. Ясно одно: вопрос о том, могут ли искины переживать, станет ключом к тому, насколько мы будем ценить их существование. Сознание есть краеугольный камень нашей морали, поскольку оно занимает центральное место в суждении о том, является ли кто-то или что-то личностью, а не просто автоматом. А если искин – это обладающая сознанием сущность, то принуждение его к услужению смахивает на рабство. В конце концов, как бы вы себя чувствовали в магазине андроидов, где на продажу выставлены существа, обладающие сознанием, – существа, умственные способности которых сравнимы с вашими или даже превосходят их?
Если бы я была директором по разработке ИИ компании Google или Facebook, то в будущих проектах мне не хотелось бы попасть в этическую западню из-за создания по недосмотру системы, обладающей сознанием. Появление системы, которая может себя осознавать, могло бы спровоцировать обвинения в ИИ-рабстве и другие кошмары в сфере связи с общественностью. Такое событие могло бы привести даже к запрету использования ИИ-технологий в определенных областях деятельности.
На мой взгляд, все это способно подтолкнуть ИИ-компании к целенаправленной работе над тем, чтобы избежать создания обладающего сознанием искина для определенных задач. Разумеется, для этого сознание должно быть тем, что можно как включить в систему при разработке, так и исключить из нее. Однако оно может быть неизбежным побочным продуктом построения разумной системы или вообще оказаться невозможным.
Не исключено, что в долгосрочной перспективе ситуация изменится не в пользу человека и проблема будет уже не в том, какой вред мы можем нанести искинам, а в том, как искины могут навредить нам. В самом деле, некоторые считают, что синтетический разум будет следующей после человека стадией эволюции разума на Земле. Тогда мы с вами и то, как мы живем и воспринимаем мир, – это всего лишь промежуточный шаг на пути к ИИ, ступенька на эволюционной лестнице. Не случайно Стивен Хокинг, Ник Бостром, Илон Маск, Макс Тегмарк, Билл Гейтс и не только они поднимают «проблему контроля» – вопрос о том, как человек сможет контролировать собственные ИИ-творения, если искины станут умнее нас[2]. Предположим, мы создадим ИИ с уровнем интеллекта, сравнимым с человеческим. Обладая алгоритмами самосовершенствования и способностью к стремительным вычислениям, такой искин мог бы быстро стать намного умнее человека и превратиться в сверхразум – т. е. обрести интеллектуальное превосходство над нами во всех отношениях. Мы, предположительно, не сможем контролировать такой сверхразум, и он, в принципе, получит возможность стереть нас с лица земли. Это лишь один из вариантов вытеснения органического разума искусственными созданиями; в качестве альтернативы человек может слиться с ИИ в результате последовательного усовершенствования мозга.
2
См., например, открытое письмо https://futureoflife.org/ai-open-letter/; Bostrom (2014); Cellan-Jones (2014); Anthony (2017); Kohli (2017).