Короче говоря, похоже, что горе нам не грозит. Насколько хватает глаз, в мире существует огромное количество реальных и потенциальных печалей, которые не дают мельнице беспокойства крутиться и предоставляют альтруистам и эгоистам множество возможностей для достойных стремлений.
Тем не менее, в этих лекциях я хочу поговорить о проблеме утопии: проблеме, с которой мы столкнемся после того, как решим все остальные проблемы.
Это может показаться не самым насущным приоритетом в нашей нынешней ситуации... Есть, надо признать, и другие причины и задачи, наиболее законно претендующие на наше внимание. И все же я не думаю, что для нашей цивилизации было бы недостойно хотя бы бросить взгляд на то, что ждет нас впереди, если все пойдет хорошо: подумать о том, к чему мы в конце концов придем, если продолжим идти по нынешнему пути и полностью преуспеем в том, чего пытаемся достичь...
Можно сказать, что смысл технологии в том, чтобы позволить нам добиваться большего с меньшими усилиями. Если экстраполировать эту внутреннюю направленность до ее логического конца, то мы придем к состоянию, в котором мы сможем достичь всего, не прилагая никаких усилий. За тысячелетия наш вид уже проделал изрядный путь к этой цели. Скоро поезд машинного сверхинтеллекта (разве мы уже не слышали свисток кондуктора?) сможет промчать нас оставшуюся часть пути.
И что тогда с нами будет?
Что придаст нашей жизни смысл и цель в "решенном мире"?
Чем бы мы занимались весь день?
Эти вопросы имеют непреходящий интеллектуальный интерес. Концепция глубокой утопии может служить своего рода философским ускорителем частиц, в котором создаются экстремальные условия, позволяющие нам изучить элементарные составляющие наших ценностей. Но эти вопросы могут иметь и огромное практическое значение, когда телос технологии будет фактически достигнут или достаточно близко приближен - по моим оценкам, очень возможно, что уже при жизни многих из вас, присутствующих здесь.
Тессий: Может, присядем?
Вон там есть несколько мест.
Фирафикс: Да, я хочу это услышать. Я буду стоять здесь.
Бостром: В любом случае, проблема утопии находится в воде. Разве мы не чувствуем ее - некое полузастенчивое скрытое беспокойство? Сомнение, таящееся в глубине под нами? Слабая тень, падающая на наше представление о том, для чего все это нужно?
Argumentum ad opulentium
А иногда это беспокойство прорывается на поверхность сознания, и мы видим приближение финала... Например, Билл Гейтс писал:
"Это правда, что по мере того, как искусственный интеллект становится все более мощным, мы должны убедиться, что он служит человечеству, а не наоборот. Но это инженерная проблема... Меня же больше интересует то, что можно назвать проблемой цели. ...Если бы мы решили такие большие проблемы, как голод и болезни, а мир продолжал бы становиться все более мирным: Какая цель была бы тогда у людей? Какие задачи нас бы вдохновляли на решение?"
И Элон Маск в интервью CNBC:
"Как найти смысл жизни, если искусственный интеллект может сделать вашу работу лучше, чем вы сами? Если я буду думать об этом слишком много, то, честно говоря, это будет удручающе и демотивирующе. Потому что я вложил много крови, пота и слез в создание компаний, а потом я думаю: "А должен ли я этим заниматься?". Потому что если я жертвую временем с друзьями и семьей, которое я бы предпочел, то в конечном итоге все эти вещи может сделать ИИ. Имеет ли это смысл? Не знаю. В какой-то степени мне приходится сознательно отстраняться от неверия, чтобы оставаться мотивированным".
Может быть, в каком-то смысле беспокойство о цели - это проблема роскоши? Если так, то можно ожидать, что утопическое процветание увеличит ее распространенность. Но в любом случае, как мы увидим, проблема гораздо глубже, чем просто избыток денег и материальных благ.
Некоторые из моих друзей любят, чтобы существовала модель воздействия - история о том, почему из всех вещей, над которыми можно было бы работать, то, что они предлагают сделать, окажется самым влиятельным и полезным. Они стремятся к наибольшей ожидаемой полезности.
Если бы я попытался написать такую историю для наших сегодняшних событий, она могла бы выглядеть следующим образом. Наша цивилизация, похоже, приближается к критической точке, учитывая грядущее развитие сверхразума. Это означает, что в какой-то момент кто-то из нас или все мы можем оказаться перед выбором, какого будущего мы хотим, причем варианты будут включать в себя очень разные траектории, некоторые из которых приведут нас в радикально незнакомые места. Такой выбор может иметь серьезные последствия. Но, возможно, некоторые из этих выборов должны быть сделаны под давлением времени, потому что мир отказывается ждать, или потому что мы сами с каждой неделей становимся все безумнее, или потому что промедление означает опережение со стороны более решительных игроков, или потому что мы не хотим останавливаться, опасаясь, что потом никогда не сможем начать двигаться снова. Или, возможно, не существует дискретного времени, когда эти решения принимаются, а вместо этого они принимаются и будут приниматься постепенно с течением времени, но таким образом, что более ранние частичные решения ограничивают диапазон более поздних возможных исходов. В любом случае, может оказаться полезным, если вы направите себя в позитивное русло скорее раньше, чем позже. И если в действительности существует отдельный период решающих обсуждений, было бы полезно подготовить к нему подходящий материал - ну, знаете, снабдить участников обсуждений некоторыми соответствующими концепциями и идеями и помочь им настроиться на нужный лад.