Вероятно, следует остановиться на том, каким образом устроена разработка новых технологий в современном обществе, – что и позволяет поддерживать нынешний темп роста технологий. Она имеет следующие части:
1) Непрерывная генерация и патентование любых идей.
2) Создание отдельных лабораторий под каждую идею, у которой есть хотя бы мизерный шанс на успех (венчурные фирмы).
3) Непрерывный обмен информацией между всеми участниками процесса, как за счёт открытых публикаций, так и за счёт торговли патентами и лицензиями.
4) Отлаженный механизм внедрения любых новинок. Культ потребления новинок.
5) Покупка «мозгов» – людей с их навыками – под конкретные проекты.
Эта система, как и все предыдущие, сложилась стихийно – то есть путём простого отбора между разными системами оптимизации. (Может быть, с элементами синтеза в духе полового отбора.) Соответственно, можно предположить, что переход к следующей системе оптимизации будет связан с подвижками, так сказать, на уровне мета-оптимизации, то есть оптимизации процессов оптимизации. Очевидной чертой современной системы является то, что она концентрируется не вокруг людей-изобретателей, как в XIX веке – например, вокруг Эдисона и Теслы, а на отработанном конвейере производства и коммерциализации идей, в котором личность отдельного человека не принципиальна. Из сказанного очевидна уязвимость современного «закона Мура» к экономическим потрясениям: для его работы необходим широкий фронт из множества фирм, поддерживаемый непрерывным притоком капитала. Соответственно, в будущем обобщенный закон Мура, иначе говоря, закон ускорения эволюции, ждёт или крах, или переход на ещё более быструю ступень развития. Поскольку нельзя заставить людей менять сотовый телефон 10 раз в год, то, скорее всего, двигателем для следующего скачка будут нерыночные (но конкурентные) механизмы, например, гонка вооружений.
Иначе говоря, закон Мура является продуктом современной экономики, и риски для экономики являются рисками для закона Мура, а значит, – являются глобальными рисками третьего рода. «Закон Мура» в широком смысле слова очень уязвим к целостности и связности общества. Для того чтобы огромное количество технологий продолжало бы развиваться по экспоненциальной кривой, необходимо одновременное функционирования тысяч лабораторий, мощнейшая экономика и качественная информационная связность. Соответственно, даже мощный всемирный экономический кризис может подорвать его. Примером такого рода события может быть распад СССР, в котором наука обрушилась в разы – и обрушилась бы ещё больше, если бы не приток идей с Запада, спрос на энергоносители, импорт компьютеров, интернет, поездки за рубеж и фонд Сороса. Страшно себе представить, насколько бы откатилась назад наука, если бы СССР был единственным государством на планете и распался.
Понятно, что «закон Мура» мог бы поддерживаться внутри нескольких отдельных сверхдержав, обладающих полным комплектом ключевых технологий, но возможно, что некоторые ключевые технологии уже стали воистину уникальными в мире. И конечно, одно небольшое государство, даже европейское, не сможет поддерживать темп развития науки на нынешнем уровне, если останется в одиночестве. В силу этого мы должны осознавать уязвимость закона Мура на современном этапе. Однако создание ИИ, нано и биотехнологий резко уменьшит объём пространства, которое необходимо для «производства всего». Крах закона Мура не будет означать прекращения всех исследований. Разработка отдельных видов биологического оружия, ИИ, сверхбомб может продолжаться усилиями отдельных лабораторий. Однако без всемирного информационного обмена этот процесс значительно замедлится. Крах закона Мура отсрочит или сделает невозможным появление сложных высокотехнологичных изделий, таких, как нанороботы, освоение Луны и загрузка мозга в компьютер, однако доведение до ума относительно простых проектов продолжится.
7. Защита от глобальных рисков
Общее понятие о предотвратимости глобальных рисков
Очевидно, что если мы выясним, что есть несколько простых, очевидных и надёжных способов противостоять глобальным катастрофам, то мы значительно улучшим свою безопасность, а ряд глобальных рисков перестанет нам угрожать. Наоборот, если окажется, что во всех предлагающихся мерах защиты есть изъяны, которые делают их в лучшем случае неэффективными, а в худшем – просто опасными, то нам необходимо придумать нечто кардинально новое. Как мы сейчас представляем, система защиты – на каждой фазе развития глобального риска – должна осуществлять следующие функции:
• Наблюдение.
• Анализа информации и принятия решения.
• Уничтожения источника угрозы.
Эта стратегия хорошо отработана в разведке, борьбе с терроризмом и военном деле. Другая стратегия предполагает бегство от источника угрозы (космические поселения, бункеры). Очевидно, эта вторая стратегия должна применяться в случае провала первой (или одновременно с ней на всякий случай).
Глобальные риски различаются по степени того, насколько возможно их предотвратить. Например, вполне реально запретить некий класс опасных экспериментов на ускорителях, если научное сообщество придёт к выводу, что эти эксперименты создают определённый риск. Поскольку в мире всего несколько больших ускорителей, которые управляются достаточно открыто, и потому что сами учёные не желают катастрофы и не имеют от неё никаких выгод, то кажется очень простым отменить эксперименты. Фактически, для этого нужно только общее понимание их опасности. То есть максимально предотвратимый риск – это тот риск, который:
1) Легко предвидеть,
2) Предвидение о котором легко достигает научного консенсуса.
3) Одного признания которого достаточно, чтобы отказаться от действий, ведущих к этому риску.
Последнее связанно с тем, что:
А) Опасные процессы создаются только людьми.
Б) Они открыто создаются в небольшом числе широко известных мест.
В) Люди не ждут никакой выгоды от этих процессов.
Г) Опасные процессы предсказуемы как по моменту своего возникновения, так и по ходу развития.
Д) Опасные объекты и процессы легко распознаваемы. То есть мы легко, быстро и наверняка узнаём, что началась некая опасная ситуация, и мы правильно оцениваем степень её опасности.
Е) У нас есть достаточно времени в силу специфики процесса, чтобы разработать и принять адекватные меры.
Соответственно, риски, которые трудно предотвращать, характеризуются тем, что:
1) Их трудно предвидеть, даже трудно предположить об их возможности. (Даже предположить, что в SETI есть риск, было трудно.)
2) Даже если кто-то осознаёт этот риск, ему крайне трудно убедить в этом кого-либо ещё (примеры: трудности с осознанием ИИ и SETI как источника риска, трудности доказательства Теоремы о конце света).
3) Даже если будет достигнуто общественное согласие о том, что это действительно опасно, это не приведёт к тому, что люди добровольно откажутся от данного источника риска. (Примеры: ядерное оружие.)
Последнее связано с тем, что:
1) Источники риска доступны большому числу людей, и что это за люди - неизвестно (можно поставить на учёт все физиков ядерщиков, но не хакеров-самоучек).