«Намерения», которые выказывает машина, на самом деле являются намерениями человека-программиста, оговоренными заранее, или же вторичными намерениями, выведенными из первых согласно правилам, установленным тем же программистом. Мы можем даже, подобно Винеру, предвидеть некий высший уровень абстракции, на котором программа не только будет модифицировать вторичные намерения, но и правила, используемые для их деривации — или же будет варьировать способы самой этой модификации… и так далее. Можно даже вообразить, что машина сумеет построить другую машину с улучшенными возможностями. Однако — и это важно помнить — машина не может и не будет проделывать ничего подобного, пока в нее не введут соответствующие инструкции. Существует и логически должен всегда существовать пробел между (i) любым конечным продуктом разработки человеческих желаний и (ii) развитием в машине ее собственной воли. Думать иначе — значит либо верить в магию или считать, что человеческая свободная воля — это иллюзия и что человеческие действия так же механистичны, как и действия машины. Может быть, и статья Винера и мое опровержение были механистически предопределены — но я отказываюсь в это верить.[87]
Это напоминает мне Диалог Кэрролла («Двухголосная инвенция») и вот почему. Самуэль основывает свой аргумент против машинного сознания (или воли) на понятии, что любое механическое проявление воли с необходимостью потребует бесконечного регресса. Таким же образом, Кэрроллова Черепаха пытается доказать, что даже простейшее рассуждение не может быть проведено без обращения к неким правилам высшего уровня, разрешающим данное рассуждение. Но поскольку это, в свою очередь, тоже шаг рассуждения, то приходится обращаться к правилам еще более высокого уровня — и так далее. Заключение: рассуждения приводят к бесконечному регрессу.
Разумеется, в доводах Черепахи есть ошибка, и я думаю, что аналогичная ошибка имеется и в рассуждениях Самуэля. Чтобы показать, в чем эти ошибки похожи, я сыграю роль «адвоката дьявола», пытаясь доказать точку зрения, противоположную моей собственной. (Поскольку, как известно, Бог помогает тем, кто помогает себе сам, то дьявол, вероятно, помогает тем и только тем, кто сам себе не помогает. Помогает ли Дьявол сам себе?) Вот мои «дьявольские» заключения, выведенные из Диалога Кэрролла:
Заключение о том, что рассуждения невозможны, неприложимо к людям, поскольку всем известно, что людям все-таки удается проводить множество рассуждений, несмотря на все высшие уровни. Это показывает, что люди функционируют, не нуждаясь в правилах: Люди — это пример «неформальной системы». С другой стороны, этот аргумент действителен, когда мы применяем его против механических рассуждающих систем, поскольку они всегда подчиняются правилам. Такие системы не смогут начать работать, пока у них не будет мета-правил, указывающих им, когда применять правила, мета-мета-правил, говорящих, когда применять мета-правила, и так далее. Таким образом, мы можем заключить, что умение рассуждать не может быть воплощено в машине, — это исключительно человеческая черта.
Где в этих доводах ошибка? В предположении, что машина не способна начать действовать без правила, говорящего ей, как это сделать. В действительности, машины обходят глупые Черепахины возражения так же легко, как и люди, и по той же самой причине: как люди, так и машины сделаны из аппаратуры, которая действует сама по себе, согласно законам физики. Вовсе не надо опираться на «правила, говорящие, как использовать правила», поскольку правила низшего уровня — не имеющие никаких «мета» перед ними — встроены в саму аппаратуру и действуют самостоятельно. Вывод: Диалог Кэрролла ничего не говорит нам о разнице между людьми и машинами. (На самом деле рассуждения возможно механизировать.)
Теперь перейдем к доводам Самуэля. В карикатурном изображении, его точка зрения сводится к следующему:
Нельзя сказать, что компьютер «хочет» что-либо сделать, поскольку он был запрограммирован кем-то другим. Только в том случае, если бы он мог запрограммировать сам себя, начиная с нуля, мы могли бы сказать, что компьютер обладает собственной волей.
87
A. L. Samuel, «Some Moral and Technical Consequences of Automation — A Refutation», Science 132 (сентябрь 16, 1960), стр. 741-2.