14. Ошибочное представление о том, что современные компьютеры очень ограничены, поэтому ИИ будет только в отдалённом будущем – через десятки или сотни лет.
Поскольку мы не знаем, что такое ИИ, мы не знаем, что именно должно быть изобретено, чтобы его создать, а потому не можем высказывать точные временные прогнозы. ИИ может возникнуть и завтра – компания a2i2 планирует завершить свой проект в 2008 г., другие проекты ориентируются на 2011 г. Существующие темпы прогресса в области создания мощных компьютеров достаточны, чтобы создать компьютеры, близкие по производительности нашему мозгу, в ближайшие годы, и нет неизбежных причин, по которым рост мощности компьютеров должен замедлится.
15. Ошибочное представление о том, что прогресс в понимании работы ума идёт очень медленно. Поэтому ИИ будет работать очень медленно
Юдковски опровергает это примером разницы между временем разработки ядерного оружия и скоростью процессов в бомбе.
16. Ошибочное представление о том, что человек способен делать X (подставить нужное), что никогда не сможет делать ИИ, и поэтому ИИ не представляет никакой угрозы
«X» может быть в разных интерпретациях творческое озарение, интуицию, быстрое распознавание образов, переживание чувств, осознание, любовь. Однако:
1. Мы не знаем, чего может или не может ИИ, пока не сделаем его.
2. ИИ может быть опасен, даже если он не может Х. Например, он может выигрывать у нас в шахматы, на бирже, или в любую другую жизненно важную для нас игру.
3. Если есть некая задача, которую может решать только человек, ИИ может нанять или подчинить себе людей для её решения – так современное государство нанимает учёных, и даёт каждому фрагмент задачи по разработке, скажем, атомной бомбы.
17. Ошибочное представление о том, что ИИ невозможен, потому что он мыслит алгоритмически, а человек –неалгоритмически
Требование алгоритмичности при создании ИИ не является необходимым. Генетические алгоритмы, квантовые компьютеры, вживление нейронов в чипы и рандомизированные методы делают требование алгоритмичности условным. Вопрос о том, как именно мыслит человек, пока не открыт. Недавно достигли того, что компьютер стал играть лучше человека в покер (техасский халдом – а ведь именно покер считается той игрой, в которой особенно важна интуиция) и лучше человека играть на бирже (на моделях). Это означает, что реальные люди будут терять деньги, сталкиваясь с компьютерами на бирже или на онлайн турнирах. Я думаю, что для них вопрос о том, обладает ли компьютер сознанием или является калькулятором не так важен, как то, сколько они потеряли. Если компьютер научится распознавать образы внешнего мира, то он сможет также эффективно побеждать в спорах, преследовать вас в лесу, стрелять по целям, делать чертежи.
Человеку приятно думать, что он лучше компьютера, потому что у него есть интуиция. Однако раз так, то надо относиться с подозрением к этой идее, так как она может быть обусловлена эмоциями. Мы не можем строить свою систему безопасности на утверждении, которое нам приятно. А вдруг мы недооцениваем силу алгоритмов? Вдруг есть такой алгоритм, который работает мощнее нашей интуиции?
18. Ошибочное представление о том, что ИИ будет примерно такой же умный, как и человек
Множество человеческих умов, скорее всего, является только малой частью множества возможных умов. Поэтому маловероятно, что, достигнув человеческого уровня, ИИ на нём остановится. Увеличив его скорость работы, соединив его с тысячами других ИИ добавив компьютерную безошибочность и память, мы можем в тысячи раз усилить ИИ человеческого уровня, не совершая принципиальных открытий.
19. Ошибочное представление о том, что ИИ будет равноправным сотрудником человека с теми же возможностями и правами
Здесь путают ИИ и отдельного робота. В случае, если его возможности будут бесконечно превосходить человеческие, то «равноправие» их будет сильно в ущерб людям. Поскольку в любом равном соревновании он будет обыгрывать людей. Кроме того, у него могут быть свои представления о равноправии.
20. Ошибочное представление о том, что ИИ будет много
Когда мы говорим «вирус распространяется в Интернете», мы имеем в виду один вирус, хотя у него много копий. Когда мы говорим об Интернете, мы имеем в виду один Интернет. Когда мы говорим о государстве (внутри него) мы тоже имеем в виду одно государство. Так же и ИИ будет один, хотя у него может быть множество копий и проявлений. Даже если будет несколько сортов ИИ, то среди них только один будет главным.
21. Различия в понимании того, что, собственно, является интеллектом
Вероятно, дать правильное определение интеллекта – это уже почти создать искусственный интеллект. С точки зрения безопасности такое определение дать проще: ИИ – это машина, способная побеждать человека в любом виде деятельности (или даже меньше: хотя бы в одном виде деятельности, который жизненно важен для человека, при этом мы имеем в виду под деятельностью управлением процессами – то есть информационную деятельность). То есть мы определяем ИИ через его способность решать практически измеримые задачи. Мы оставляем в стороне вопрос о сознании, свободе воли, творчестве. Это определение в принципе тождественно предлагаемому Юдковски определению ИИ как «мощного процесса оптимизации».
22. Ошибочное однозначное отождествление ИИ как отдельного объекта
ИИ определяется тем, что он делает (эффективно осуществляет процесс оптимизации), однако представление о том, что есть сущность, порождающая эти действия, может вести нас к заблуждениям. Например, процесс эволюции в дарвиновском смысле порождает всё более эффективные решения. Однако у этого процесса нет никакого центра, который ставит цели или который можно уничтожить.
23. Ошибочное представление о том, что достаточно спрятать ИИ в чёрный ящик, что он был безопасен
Если мы поместили ИИ в чёрный ящик (то есть полностью изолировали его), а затем получили результаты его работы, то значит, произошёл двухсторонний обмен информацией, и чёрный ящик не является таковым. Если мы не получаем никакой информации из чёрного ящика, это равносильно тому, что вообще его не включать. Трудность здесь ещё в том, чтобы знать, что ИИ уже возник, чтобы понять, что нам пора помещать его в чёрный ящик. Наконец, ИИ может взломать чёрный ящик изнутри, например, излучая радиосигналы, или считывая колебания тока в системе питания.
24. Ошибочное возражение следующего рода: «В Японии уже был проект по созданию ИИ в 80-е годы, и он потерпел неудачу, поэтому ИИ невозможен»
В 1880-е годы было несколько проектов по созданию самолёта, и они потерпели неудачу. После этого распространилось мнение, что самолёт невозможен. То есть несколько неудачных попыток с негодными средствами не значат принципиальной невозможности. Кроме того, проект в Японии не заглох до конца, и из него выросли другие ИИ-проекты, просто менее афишируемые. Однако эта яркая неудача повлияла как на доверие публики к таким проектам, так и на склонность исследователей обещать невероятные результаты.
25. Ошибочное представление о том, что ИИ надо дать команду Z (подставить нужное), и всё будет в порядке
«Z» может быть «любить всех людей», «не причинять людям вреда», «слушаться только меня» и т. д. Дело в том, что мы не можем проверить, как именно ИИ реализует любую команду, пока не запустим его. А когда запустим, может быть поздно.
26. Ошибочное представление в духе: «Когда я достигну эффективности в реализации ИИ, я подумаю о его безопасности»
Неверно. Проверить эффективность ИИ можно, только запустив его на сложной задаче, связанной с реальным миром. Если с ним что-то не так, то о безопасности думать будет поздно. Некоторые типы ИИ могут быть несовместимы с нормативной безопасностью, например, основанные на генетических алгоритмах. Поэтому меры по обеспечению безопасности следует встраивать в ИИ с самого начала, они не могут быть довеском на нём.