Изучение работы и попытка моделирования человеческого мозга человеком немного напоминает попытку молекул изучать молекулы и строить их модели. Для молекул это, наверное, было бы сложной задачей. Но "молекулы" (1,65 метра) сумели узнать что-то о Вселенной (1027 м), это равносильно тому, что молекула воды (1,54*10-10 м), мирно плещущаяся в стакане, узнала что-то не только о стакане, столе, Земле, Койпере и Оорте, но дотянулась своим пониманием (1017 м) до звезд и даже экзопланет. Так что надежда есть.
ИИ может учиться сам (например, ища информацию в Сети или наблюдая действия людей), но это можно делать по-разному. Первый вариант - он делает это так, как мы ему сказали. Второй - он может начать учиться, подражая тому, как учатся люди, но команду "учиться" ему дали. Третий - можно подождать, пока он сам начнет это делать, исходя из своих целей (например, выживания) или внешних задач, поставленных человеком.
Страхи, которые возникают у людей при обращении к теме ИИ и роботов, можно разделить на несколько типов. Простейший - это проекция на них какой-либо внушающей страх черты человека, например, властолюбия или вообще стремления к экспансии. Но все человеческие черты, в том числе и плохие, являются результатом биологии и истории. За ИИ и роботами нет ни того, ни другого, и этого можно не опасаться. Желание захватить власть может возникнуть, если мы поставим перед ними задачу, требующую для своего выполнения именно власти над всей землей. Так что, создавая ИИ, реально способный захватить власть, и собираясь ставить перед ним глобальные задачи, нужно задуматься об ограничениях в методах, или об объяснении предполагаемых действий, или о моделировании последствий.
Некоторые тонкие вопросы были в свое время разобраны Станиславом Лемом в работе "Сумма технологии". Например, мощный ИИ обнаруживает влияние рождаемости на благосостояние и, решая задачу подъема благосостояния, начинает каким-либо способом понижать рождаемость. Разумеется, если дать в руки ИИ эти средства, поставить именно такую задачу и отказаться от какого-либо контроля, можно в теории получить подобный результат.
Кроме ИИ, людям есть и еще, о чем беспокоиться. Например, когда Солнце превратится в красный карлик, уменьшится количество ультрафиолета в атмосфере и вольготнее начнут чувствовать себя микробы. А Всемирная организация здравоохранения (ВОЗ) не только не адекватно реагировала на коронавирус, но этому фактору не уделяет должного внимания.
Кстати, еще сюжет для писателей. Все цивилизации Вселенной идут именно по этому пути и получают конечный результат. Но кого-то, естественно, успевает спасти герой, естественно с Земли. Если же говорить серьезно, то в тоталитарном государстве с людьми, опущенными до уровня безгласной массы, может быть, да и бывало, не только такое. Так что не стройте тоталитаризма, не человеческого, ни компьютерного, и не опускайтесь до плинтуса.
Что касается именно роботов, то некоторые авторы почему-то считают, что именно человекоподобие будет вызывать у людей отторжение. Но, судя по популярности цифровых помощников и секс-кукол, это не так. Следующий шаг - их объединение. Начало простое - только голос. Вот когда они получат интеллект... потому что, мне кажется, люди просто боятся конкуренции. Опять же, подсознательно наделяя робота с ИИ еще и ущербной человеческой психологией (см. В.Пелевин "S.N.U.F.F")
Серьезной опасности можно ожидать от ИИ, если он действительно заимствует человеческую психологию. Это возможно в трех случаях. Первый - воспитание конкретного ИИ человеком с опасной для людей психологией (Станислав Лем, "Ананке"). Второй случай - изучение ИИ истории людей и выборе зла; этого можно избежать, поставив критерием со знаком минус количество жертв на ограниченном интервале, скажем, за поколение (чтобы ИИ не вздумал устроить текущую гекатомбу ради будущего светлого царства, как некоторые люди). Третий случай - эволюция системы ИИ, похожая на эволюцию людей, выбор конкретным ИИ зла, и распространение этого выбора на всю деятельность. Это маловероятно, поскольку человечество в целом вроде бы зло не выбирает.