Третьим критерием было то, что теория или модель мозга должна учитывать физическую архитектуру мозга. Неокортекс не является простой структурой. Как мы увидим далее, он организован как повторяющаяся иерархия. Ни одна нейронная сеть, не обладающая такой структурой, определенно не будет работать как мозг.
Но как только феномен нейронных сетей покинул сцену, ее занял класс очень простых моделей, которые не удовлетворяли ни одному из этих критериев. Большинство нейронных сетей состоят из небольшого количества нейронов, соединенных в три слоя. Паттерн (вход) подается на первый слой. Эти входные нейроны соединены со следующим слоем нейронов, так называемым скрытым слоем. Скрытый слой затем соединяется с последним слоем нейронов, выходным. Соединения между нейронами имеют различный вес, подразумевая, что активность одного нейрона может усиливать активность другого нейрона и ослаблять активность третьего в зависимости от веса соединения. Изменяя эти веса, нейронная сеть обучается отображать входные паттерны на выходные.
Такие простые нейронные сети обрабатывали только статические паттерны, не использовали обратных связей и не были чем-то похожим на мозг. Наиболее общий тип нейронных сетей, называемых сетями «обратного распространения», обучались путем распространения ошибки от выходных слоев обратно к входным. Вы могли бы подумать, что это одна из форм обратной связи, но это не так. Обратное распространение ошибки возникало только во время фазы обучения. Когда нейронная сеть работала в обычном режиме после того, как она была обучена, информация распространялась только в одну сторону. От выходов к входам не было обратных связей. И у этих моделей не было времени. Статический входной паттерн преобразовывался в статический выходной. Затем подставлялся другой входной паттерн. В сети не было какой либо истории или записей о том, что происходило даже чуть раньше. И наконец архитектура этих нейронных сетей была тривиальной по сравнению со сложной и иерархической структурой мозга.
Я думал, что это направление быстро перейдет к более реалистичным сетям, но этого не произошло. Поскольку эти простые нейронные сети были способны на интересные вещи, казалось, что исследования остановятся прямо там на годы. Был найден новый и интересный инструмент, и неожиданно тысячи ученых, инженеров и студентов бросились получать гранты, зарабатывать ученые степени и писать книги о нейронных сетях. Были созданы компании, использующие нейронные сети для предсказания курсов на фондовых рынках, обработки заявок на получение кредитов, проверки подписей и выполнения сотен других приложений по классификации паттернов. Хотя намерения исследователей в этой области могли бы быть более общими, эта область стала доминирующей стараниями людей, которые не были заинтересованы в понимании того, как работает мозг или что такое интеллект.
Популярная пресса не понимала различий. Газеты, журналы и телевизионные научные программы представляли нейронные сети «мозгоподобными», или работающими по тем же принципам, что и мозг. В отличие от ИИ, где все должно было быть запрограммировано, нейронные сети обучались на примерах, что казалось более интеллектуальным. Наиболее заметной демонстрацией был NetTalk. Эта нейронная сеть обучалась отображать последовательности букв в произносимые звуки. Как только сеть была обучена на печатных примерах, она начала произносить «компьютерным» голосом читаемые слова. Легко было вообразить, что чуть больше времени — и нейронная сеть начнет общаться с людьми. NetTalk была ошибочно провозглашена в национальных новостях как машина, обучающаяся чтению. NetTalk была отменной демонстрацией, но то, что она действительно делала, было тривиальным. Она не читала, она не понимала и не имела большого практического значения. Она просто сопоставляла подходящие паттерны букв предопределенным звуковым паттернам.
Позвольте привести вам аналогию, чтоб показать, как далеки были нейронные сети от реального мозга. Вообразите, что вместо того, чтоб пытаться понять, как работает мозг, мы попытаемся понять, как работает цифровая вычислительная машина. Через годы изучения мы откроем, что все в компьютере состоит из транзисторов. В компьютере есть сотни миллионов транзисторов и они соединены между собой определенным сложным образом. Но мы не понимаем, как работает компьютер или почему транзисторы соединены именно так. Итак, однажды мы решаем соединить всего лишь несколько транзисторов, чтоб увидеть, что происходит. Вот смотрите, мы обнаружили, что несколько транзисторов, когда соединяются вместе определенным образом, становятся усилителем! Слабый сигнал, поданный на один конец, усиливается на другом конце (подобным образом делают усилители в радиоприемниках и телевизорах). Это важное открытие, и немедленно вырастает индустрия, выпускающая транзисторные радиоприемники, телевизоры и другие электронные приборы на транзисторных усилителях. Все это хорошо, но это ничего не говорит нам о том, как работает компьютер. Хотя и усилитель и компьютер сделаны из транзисторов, они не имеют почти ничего общего. Точно так же и реальный мозг и трехслойная нейронная сеть построены из нейронов, но не имеют почти ничего общего.