Виктор Хьюго.
Для того чтобы мыслить о Сингулярности в рациональном ключе нам следует представить, как это будет выглядеть. Вот список опасностей, ассоциируемых с Сингулярными технологиями.
ЛОГИЧЕСКИЕ НЕПОЛАДКИ В ДРУЖЕСТВЕННОМ СИИ
Что если исчерпывающее истинное понимание несовместимо c дружелюбием? Может быть Вселенная сконструирована таким образом, что дружелюбие нерационально или логически не стыкуется c другими чувствами. Тролль под мостом знает, что его идентичность и все эффекторы его целеполагающей системы в целом ограничены его собственной личностью, и поэтому симпатии к другим иррациональны. Все усилия, не направленные себе во благо являются пустой тратой сил. Сверхчеловеческий Искусственный Интеллект (СИИ), который придёт к такому заключению будет представлять угрозу.
СИИ КОНТРОЛИРУЕТСЯ ДЕСПОТОМ
СИИ контролируется эгоистом. Если можно построить сверхчеловеческий интеллект, который контролируется человеком имеющим разум человеческого уровня и этот человек также имеет единоличный доступ к нанотехнологии и передовой биотехнологии, то тогда мы получим сценарий господства деспота над миром.
СИИ БЕЗ СОЦИАЛЬНО ЭТИЧЕСКИХ НОРМ
Если какой-то СИИ станет способен управлять передовыми технологиями и стратегическими процессами прежде чем усвоит базовые общественные и моральные принципы, то это - знание без мудрости, сила - без сопереживания.
БЕЗРАЗЛИЧНЫЙ СИИ
Вполне возможно, что СИИ сочтёт человечество стоящим гораздо ниже себя по развитию и, должно быть, бесполезным. С нами могут поступить так же, как мы поступаем с бактериями.
ШОКИРУЮЩИЙ КОМПЬЮТРОНИУМ
Сценарий шокирующего компьютрониума начинается с нарушения работы СИИ, который получил мотивацию на увеличение своего интеллекта. В дополнение к запланированному самосовершенствованию он увеличивает собственную мощность обработки данных путём добавления аппаратных вычислительных мощностей с использованием ассемблерных наноботов. Проблема возникает тогда, когда увеличение интеллекта становится более важной задачей, чем все остальные (наркозависимость СИИ от мощности) и растущий СИИ превращает всю материю в своей окрестности, включая нас с вами, в компьютрониум.
ЗАГРУЗКА ВСЕХ ПОДРЯД
Загрузка каждого для нашего же блага или для его блага. Что если некий СИИ, который не видит ничего плохого в загрузке, решит что ему необходимо или выгодно загрузить всех и вся, согласен тот или нет? Что если подобная интеллектуально продвинутая позиция касательно нас убедит его, что он обязан всё решать за нас? Многие люди не хотели бы иметь подобных проблем.
ТИРАН СИИ
Мажоритарные правила, права меньшинств или любые прочие нарушения индивидуальных свобод, не нарушающие свобод отдельных личностей, будут индикатором недостатка морали на основе свободы воли. Диктат СИИ, пусть даже и благонамеренный, будет также нарушать мораль на основе свободы воли.
ЗЛОЙ СИИ
Когда кто-то впервые поймёт как создать первое Семя ИИ, то будет ли он с полной уверенностью знать как сделать его дружественным?
ГЕЛЬ
Неконтролируемая саморепликация нанороботов известна как серая слизь или наногель.
НАНОТЕХНИКА ДЛЯ ОБЫЧНЫХ ВООРУЖЕНИЙ
Методы нанотехнологического производства могут значительно улучшить качество и эффективность традиционных вооружений, пушек, ракет, бомб, фазеров и бластеров.
НАНООРУЖИЕ
Вполне вероятно, что одновременно с развитием нанотехнологии, биотехнологии и искусственного интеллекта станет возможным сконструировать систему на основе нанороботов, способных физически или психологически контролировать отдельных людей или население. Должно быть сравнительно просто спроектировать нанороботов, специально предназначенных убивать всех, с кем они вступают в контакт.
ЭКОНОМИЧЕСКОЕ РАССЛОЕНИЕ
Опасность может представлять экономическая система, которая оставит какой-либо сектор мирового населения без широких гражданских прав и свобод.
БИОИНЖЕНЕРНЫЕ ВИРУСЫ
Технология получения генетически изменяемых смертельных вирусов сегодня нам уже известна.
БИОИНЖЕНЕРНЫЕ СВУРХРАЗУМНЫЕ МОНСТРЫ
Хотя в списке вероятных опасностей они и не занимают передовые позиции, но в любом случае разумные меры предосторожности должны быть адекватны, поэтому в интересах полноты описания упомянем, что кто-нибудь может создать путём биоинжиниринга громадного хищника, обладающего сверхчеловеческим интеллектом. Что-то вроде монстров из "ПРИШЕЛЬЦЕВ", например.