Факторы, повышающие мотивацию:
1) Крупные катастрофы любого рода.
2) Публикации, влияющие на общественное мнение.
Факторы, ослабляющие мотивацию:
1) Долгие периоды покоя и благоденствия.
2) Публикации, успокаивающие людей.
3) Ошибочные несбывшиеся прогнозы.
Факторы, влияющие на осведомленность:
1) Количество людей, участвующих в дискуссии на тему, и их профессиональные качества.
2) Длительность истории дискуссии и информационная прозрачность.
3) Разработанность методологии.
4) Мотивация в развитии осведомленности.
Фактор, ослабляющий осведомленность:
1) Гибель учёных или разрыв традиции в случае некой катастрофы средней тяжести.
2) Распространение заблуждений и/или идеологический раскол.
Выводы: наша неосведомленность и немотивированность в предотвращении глобальных катастроф может быть гораздо более серьёзным фактором, чем риски, создаваемые любым физическим источником риска.
6. Глобальные риски трутьего рода
Определение
Глобальными рисками третьего рода мы назовём любые события, которые замедляют или ускоряют ход, или меняют порядок развития сверхтехнологий на Земле, и в силу этого оказывают косвенное, но решающее влияние на возможные сценарии глобальных катастроф. Здесь можно обнаружить следующие взаимосвязи между катастрофами разных масштабов и их влиянием на развитие и очерёдность технологий.
1. Любая крупная авария или катастрофа может замедлить развитие технологий. Например, экономический кризис приведёт к остановке работ на ускорителях, что уменьшит шансы на создание «чёрной дыры». Уменьшится выделение денег на био- и ИИ исследования, но их это затронет в меньшей степени.
2. Колоссальная, но не окончательная катастрофа остановит почти все исследования, даже если некоторое количество людей выживет.
3. Любая авария средней тяжести приведёт к росту мер безопасности и сокращению проектов в своей области.
4. Военный конфликт приведёт к гонке вооружений и росту числа исследований. Направления перспективных исследований будут выбираться с учётом мнения неких ключевых людей. Например, в РФ сейчас стартовала военная программа по нанотехнологиям. Это бы не произошло, если бы те, кто принимают решения и их советники, никогда бы не слышали про нанотехнологии. Ядерная программа США не стартовала бы, если бы не письмо Эйнштейна. С другой стороны, универсальный ИИ как абсолютное оружие сейчас обойдён вниманием властей, насколько это известно. Однако вечно это продолжаться не будет. Как только власти поймут, что частные лаборатории, создающие сильный ИИ, возможно, обладают силами для глобального мятежа – они приберут их к рукам. Соответственно, прослышав, что в одной стране власти сделали ставку на мощный ИИ, и другие страны могут так поступить, а также отдельные организации и крупные фирмы могут начать свои проекты. Однако разрушение информационной связности может отбросить всю науку об ИИ назад.
5. Само изобретение даже не очень сильного ИИ позволит резко ускорить прогресс в других областях. Кроме того, любые принципиальные открытия могут изменить баланс сил.
Итак, некие события могут или сильно снизить уровень исследований в мире, в силу чего более дешёвые проекты получат преимущество перед дорогими, или резко ускорить их. Наоборот, разрушение информационной связности застопорит дешёвые проекты, опирающиеся на доступную информацию из Интернета, и не остановит дорогие проекты, реализующие готовую информацию, например, создание кобальтовой супербомбы.
Закон Мура
Законом Мура в узком смысле слова называется экспоненциальный рост числа транзисторов на чипе. В широком смысле слова под ним имеется в виду экспоненциальное усиление разных технологий с течением времени. Будущее закона Мура – будет ли он работать весь XXI век или перестанет в какой-то момент, – является определяющим в том, какова будет история XXI века и его риски.
В действительности, это ускорение, которое описывает закон Мура, является не экспоненциальным, а более крутым. Вопрос этот неоднократно исследовался, например, в статье Рэя Курцвейля «Результаты закона ускорения» . Подтверждением этого, является то, что, во-первых, скорость удвоения числа транзисторов на чипе постепенно, хотя и не равномерно, возрастает (то есть период удвоения сокращается). Если экстраполировать закон Мура в прошлое, то он бы имел начальную точку в середине ХХ века. Но компоненты электронных схем развивались и раньше. Предполагается, что в начале ХХ века закон Мура (если его экстраполировать на прогресс электронных схем тогда) имел период удвоения порядка трёх лет.
Во-вторых, не только возрастает число транзисторов на чипе, но и число компьютеров в мире экспоненциально растёт. В силу этого суммарная доступная вычислительная мощность растёт как экспонента от экспоненты.
В-третьих, растёт связность компьютеров друг с другом, превращая их в единый компьютер. В результате, если мы к началу 80-х имели порядка миллиона компьютеров с частотами порядка мегагерца, то теперь мы имеем миллиард компьютеров, с частотами порядка гигагерца, связанных между собой Интернетом. Это означает, что совокупная вычислительная мощь за 25 лет выросла не только в миллион раз количественно, но и неисчислимым образом качественно.
Поскольку аналогичная закономерность прослеживается не только относительно чипов, но и жёстких дисков компьютеров, и считывания ДНК и ряда других технологий, понятно, что закон Мура связан не с какой-то особенностью производства микросхем, а с универсальной закономерностью в освоении новых технологий.
Другой способ понять то, что собой представляет закон Мура, состоит в том, чтобы представить, что мы оказались в XIX веке с чертежом компьютера или пулемёта, и понять, чего именно нам не хватает, чтобы сделать это устройство. В первую очередь, нам будет не хватать материалов, деталей и точности обработки. Соответственно, прогресс состоит в росте номенклатуры и удешевлении материалов с заданными свойствами и технологий их обработки. Значит, в основе роста технического прогресса лежит возникновение новых идей, рост объёмов производства (удешевление) и, как ни странно, химия. И сейчас основные технологические открытия совершаются на границе биохимии, нанотехнологий, физики полупроводников и т п.
В своё время наблюдался своеобразный закон Мура в области космонавтики – от первого спутника до высадки на Луну имел место экспоненциальный рост успехов, который давал основания для прогнозов о полётах к звёздам к началу XXI века. Однако вместо этого космонавтика вышла на насыщение и даже на откат по некоторым позициям, вроде полётов на Луну. Это произошло, потому что космонавтика развивалась, как культура микроорганизмов в чашки Петри – то есть экспоненциально росла, пока не упёрлась в свои естественный пределы. Естественными пределами космонавтики стали возможности химических ракет (и их цена). Хотя космонавтика развивалась, принцип реактивного движения и цена производства ракет почти не развивались. В области полупроводников и ряда других технологий происходило наоборот – каждый успех в их создании позволял быстрее и дешевле разрабатывать новее версии.
В производстве кремниевых микросхем закон Мура также должен рано или поздно достичь некого физического предела. Однако если взять закон Мура в более общем виде, то он означает закон самоусложнения структур. И мы неоднократно видели, как это самоусложнение совершало качественные скачки от одной области экспоненциального роста к другой, всякий раз в гораздо более быструю по параметрам развития – от одноклеточным к многоклеточным, от неолита к рабовладельческому строю, от электронных ламп к транзисторам, от микросхем к – возможно – квантовым компьютерам. (Я не привожу здесь полную цепочку ускорения фаз развития, отмечу только, что каждый переход давал ускорение параметра роста в несколько раз.) Это значит, что такие события, как переход с одной экспоненты на другую, более крутую (а очевидно, не было конкурентной выгоды переходить на менее крутую экспоненту развития), являются более важными, чем даже сам экспоненциальный рост между этими переходами. И каждый раз такие переходы связаны с качественными скачками, с открытием принципиально нового способа оптимизация, нового способа более быстрого «думанья» (иначе говоря, с открытиями более быстрых алгоритмов искусственного интеллекта, чем простой перебор). Например, переход к половому размножению был для эволюции открытием более быстрого способа отбора и создания эффективных видов. Переход к письменности – более мощным способом накопления знаний об окружающем мире, чем устная передача. Создание научного метода – более мощным способом познания окружающего мира, чем доверие письменным источникам античности. Создание системы венчурных фирм, разрабатывающих и продающих новые технологии – более быстрым способом, чем работа отдельных конструкторских бюро и изобретателей-одиночек. (См. например: И.Азаров. Венчурный капитал в электронной промышленности США. ).