Другой вариант, вроде бы, более прост - человек, который смотрит на результаты работы программы, есть. Но он не вполне уверен в своем понимании качества решения. Такая ситуация бывает при общении людей - я вижу, как решает некую задачу мой коллега, но не уверен, что правильно оцениваю его решение. Например, мое решение мне нравится больше, но уверенно сказать, что он ошибается, я не могу. По мере приближения, в любом смысле, ИИ к ЕИ, эта ситуация непременно возникнет.
Другая сложность - отношение человека к надежности. Автомобиль наедет на пешехода, промышленный робот, неловко развернувшись, заденет мастера В. В. Пупкина по уху - и вангогом дело может не обойтись. Дело не только в неисправностях, возможны сложные ситуации, причем даже такие, когда придется решать, кого защищать - своих пассажиров или других, их или пешехода, да и кого из пешеходов... Необходимость как-то сформулировать этические предпочтения побудила людей их исследовать, нашлись интересные корреляции с полом и возрастом, выяснились, что эти предпочтения разные в разных регионах (спросите Сеть "моральные проблемы беспилотных автомобилей"). Но это наука, а борцы с нашествием роботов вполне могут пойти на провокации - надеясь, что пострадает железка, а они сдерут миллион за моральный ущерб (а может ли быть моральный ущерб у аморального человека?) Психология многих людей такова, что они предпочтут, чтобы давил автомобиль с пьяной дрянью за рулем, чем со в сто раз меньшей вероятностью - робот. Наверное, психологи могут объяснить, почему это так, но знают ли они, как это изменить? Ведь из-за этого иррационального мышления тормозится внедрение беспилотных автомобилей, а замена лишь одного процента всех автомобилей беспилотными будет спасать десять тысяч жизней ежегодно.
Во всех публикациях по теме ИИ явно или неявно проводится мысль, что он должен быть идеален. Но если он будет ошибаться, скажем, хотя бы вдвое реже, чем человек, то игра уже стоит не только свеч, но и инвестиций. Или вот - в некоторых странах каждый понимает, чем кончится попытка объяснить неправомерность претензий представителю силовых структур на улице. Робот, несущий полицейские функции, наверняка будет запрограммирован иначе - потому, что это может быть проверено независимо. Заметим, что проверяемая программная ограниченность роботов-полицейских как раз и может исключить их появление в некоторых странах. Хотя... ну да, проверки можно запретить или, еще лучше, фальсифицировать.
Создавая страшилки, авторы и нарушают логику, и демонстрируют мышление, оторванное от реальности. Например, пишут: "Если полицейские отряды, состоящие из людей, могут отказаться выполнять какие-то драконовские директивы (например, убивать всех представителей определенной демографической группы), то такая автоматизированная система не поддастся никаким угрызениям по поводу проведения в жизнь любых капризов вышестоящих человеческих существ. После того как подобное тоталитарное государство сформируется, для людей окажется практически невозможным положить ему конец". Имея в виду - попугать машинами, автор оговорился - "капризы человеческих существ". Кроме того, из истории известно - были, наверняка есть, - миллионы людей, которые "не поддаются угрызениям" того, чего у них и вовсе нет.
Ненадежны могут быть не только беспилотные автомобили и промышленные роботы. Любая программа может выдать неправильные цифры - из-за ошибок, сделанных ее автором или из-за сбоев "железа". Мы привыкли к этому, и как-то научились с этим умеренно справляться, хотя самолеты иногда перепутывают верх и низ. Но человек перепутывает чаще; есть версия, что сбить-то хотели своего, чтобы получить casus belli, а по криворукости грохнули чужого. Но программы, на коробке с которой написано ИИ, человек боится больше, и поэтому предъявляет к ней больше требований. И совершенно зря - потому, что он сам ошибается чаще этой программы.