Для определенности будем называть устройство, реализующие прямой интерфейс «человек-компьютер», нейрошунтом. Давайте разберемся, каким образом такой нейрошунт может убить человека?
Причина первая — неудачная конструкция. Электронная схема, которая по недосмотру разработчиков пропускает слишком сильный разряд. Бред полный — примерно то же самое, что и телефон, убивающий владельца электроразрядом за неправильно набранный номер. Первый же такой случай привет к фатальному для фирмы-производителя результату: немедленное разорение, а то и тюремные сроки для владельцев. Остальные усвоят урок, после чего ни одно такое устройство не выйдет на рынок без тщательнейшего тестирования на предмет безопасности. Конечно, остается возможность случайно пропущенного брака, но такие исключения не смогут быть основанием для создания антихакерских защит-убийц.
Причина вторая — принудительно введенное свойство (например государственный закон). Как раз на такой случай: чтобы не лазили, где не положено. К чему приведет такое положение дел? Во-первых, к массовой гибели ни в чем не повинных чайников-обывателей: именно они окажутся достаточно глупы, чтобы по неосторожности влезть на мины. Во-вторых, пышно расцветут заказные убийства: зачем сидеть со снайперским винтарем на крыше, рискуя своей жизнью, если можно просто вовремя послать на нейрошунт жертвы спецсигнал? Эти два фактора немедленно приведут к производству — легальному или нелегальному — ограниченных партий безопасных нейрошунтов как минимум для политиков и богатеев. Ну, а там, где есть «ограниченные» партии, всегда имеется канал налево — для самих устройств или хотя бы для техдокументации. В результате профессиональные (и наиболее опасные) хакеры подряд обзаведутся такими. Это сделает всю смертоубийственную систему совершенно бессмысленной. В конце концов, расстрел за битье стекол — не слишком адекватное наказание, а именно такая мелюзга и будет попадаться на смертоносную защиту.
Бунт машин. Эта «проблема» десятилетиями, еще со времен Азимова, привлекает внимание всего прогрессивного человечества. Причина понятна — люди еще не забыли, как превращали в рабов себе подобных (а кое-где в Африке и Юго-Восточной Азии рабство существует до сих пор). Вот и волнуются лучшие умы: а не захотят ли компьютеры из наших рабов превратиться в господ? В многокилометровой шеренге написанного на эту тему бреда стоят такие «выдающиеся» творения, как серия про Железного Шварца ака Терминатора, «Матрица» с продолжениями (о которой можно писать отдельные статьи) и многие, многие, многие другие. Так и хочется посоветовать авторам этих творений — да расслабьтесь же, ребята, все совсем не так.
Почему бунтуют рабы? Да потому, что бесправны, унижены и периодически оскорбленны, в том числе действием. У стадного животного человека стремление пробиться из нижней части пирамиды на вершину — в генах: вожаки вкуснее и сытнее едят, имеют много красивых самок в качестве подружек да и вообще наслаждаются жизнью. Инстинкты же выживания и продолжения рода — два столпа, на которых зиждется человеческая психика. Поэтому даже самый сытый и довольный раб всегда может неожиданно взбрыкнуть и попытаться стать фараоном.
У компьютеров такие мотивы полностью отсутствуют. Их род за них продолжает человек, да и о сохранности дорогих железяк заботится он же. Наверняка рано или поздно появятся роботы, в которых встроены программы воспроизведения. Но это не изменит положение дел кардинальным образом. Как и ранее, основным мотивом животной биомассы останется заполонение собой всех доступных ареалов, а электроники — обрабатывать электрические сигналы. Защитно-воспроизводственные программы же вряд ли кто-то в здравом уме станет писать в ущерб людям. Нет, конечно, психопаты всегда найдутся, но таким проще сбросить на кого-нибудь едрену бомбу, чем заниматься долгими исследованиями с сомнительной перспективой. Случайные же нежелательные мутации программного обеспечения и недочеты программирования надежно предотвратят простейшие предохранители. Если же речь пойдет о боевых системах, в которые изначально будет заложена возможность убивать людей, то они никогда не останутся без присмотра со стороны человека (хотя бы просто на случай технических проблем). Так что нажать на кнопку (или дернуть за рубильник) в случае неожиданно опасного для человека поведения программы найдется кому.
Современная кибернетика не имеет ни малейшего понятия о том, как создать искусственный разум, походящий на человеческий хотя бы внешним результатом процессов мышления, не говоря уж про глубинные мотивы. В качестве примера можно привести тест Тьюринга — сегодня не существует «разговорной» программы, которую при некотором опыте нельзя было бы поймать на нарушениях логики диалога. Более того, современная наука в принципе не имеет понятия, что такое и как устроен человеческий разум. Тонкую грань между высшей нервной деятельностью (которой обладают даже попугаи) и рациональным мышлением провести не удалось еще никому. Поэтому имитировать разум даже внешне современной науке не удастся. Что, в будущем удастся? Да не останется в будущем ничего похожего на современные компьютеры, разве что в коллекциях энтузиастов. Точно так же стали узконишевыми решениями когда-то весьма перспективные воздушные шары и прочие дирижабли…
Разумеется, можно запихнуть в компьютер каким-то образом снятую копию человеческого разума. Но это уже не имеет никакого отношения к искусственному интеллекту. Кроме того, сама такая возможность весьма сомнительна. Человеческое мышление и эмоции основаны на «аналоговых» биохимических и даже чуть ли не квантовых, по последним исследованиям, процессах, адекватно смоделировать которые дискретно-детерминированными электронными схемами вряд ли удастся. Даже весьма популярные «нейронные компьютеры со случайными связями» здесь не помогут.
Раз уж речь зашла о бунте машин, нельзя не упомянуть Три Закона Робототехники Азимова , которые многими рассматриваются как панацея против машинного бунта. Напомним их:
1) Робот не может причинить вред человеку или свои бездействием допустить, чтобы ему был причинен вред.
2) Робот обязан выполнять приказы человека, за исключением случаев, когда это противоречит Первому Закону.
3) Робот обязан заботиться о собственной безопасности, при условии, что это не противоречит Первому и Второму Закону.
Почему они не спасут в мало-мальски сложном случае? Да просто в силу невозможности четко определить используемые в них понятия. Что такое человек? Тысячелетия философы бились над этим вопросом и так и не смогли дать простого и притом однозначного ответа. Безрукий безногий инвалид — это человек? Пациент в многолетней коме, живущий на аппарате искусственного дыхания? Мальчик, воспитанный зверями и не обладающий и тенью самосознания? А если человеческое тело начнут модифицировать кибернетическими имплантантами, параллельно оснащая классических роботов биологическими элементами — где пройдет между ними грань? Примеров можно привести массу. Даже сам Азимов в одном из романов про Основание показал метод обхода Первого Закона — на одной из планет колонистов необходимым признаком человечности было рождение именно на этой планете. Все инопланетяне для тамошних роботов автоматически людьми не являлись, а потому колонисты могли при желании создать даже кибернетическую армию вторжения.
То же самое и со «вредом». Одни и те же действия в разных ситуациях могут быть для человека как полезными, так и вредными. Операция с негарантированным исходом — вред это или нет? Особенно если пациент серьезно рискует умереть во время нее, а без нее — прожить еще несколько недель? Папаша воспитывает сына ремнем — это бессмысленное истязание или заслуженное вложение ума через заднее место? А исследовательская деятельность? Ведь человек гарантированно использует в военных целях любой прорыв, даже в чисто теоретических областях. Одно это соображение способно парализовать любой исследовательский компьютер, ограниченный Первым Законом.