Абстрактные понятия, например, справедливость или мир, определить еще труднее. Альтернатива — распределение чашек с помощью схем активности большой популяции нейронов, которые смогут зафиксировать как сходства, так и различия. Это наделяет символ богатой внутренней структурой, отражающей его суть. Проблема в том, что в 1980 году никто не знал, как создать такую внутреннюю структуру.
Мы с Джеффри были не единственными, кто в 1980-х годах верил, что нейронная сеть сможет достичь интеллектуального поведения. Ряд ученых по всему миру, большинство в одиночку, разработали специализированные модели нейронной сети. Например, Кристоф фон дер Мальсбург создал модель распознавания образов, основанную на связи нейронов, передающих импульс[72]. Позже он показал, как эта система может распознавать лица на фотографиях[73]. Кунихико Фукусима из Осакского университета в Японии изобрел неокогнитрон[74] — многослойную сеть, основанную на строении зрительной системы. Эта сеть использовала сверточные фильтры и простейшую модель пластичности Хебба и была прямым предшественником сетей глубокого обучения. Теуво Кохонен, инженер-электрик из Хельсинского университета в Финляндии, разработал самоорганизующуюся сеть, которая могла научиться группировать сходные входные данные, например звуки речи, в двумерную карту так, что разные звуки будут представлены на этой карте разными процессорами, где аналогичная входная информация активирует соседние области выхода[75]. Основным преимуществом сети Кохонена было отсутствие необходимости обозначать каждую категорию входных данных. Создание специальных меток для обучения перцептрона и других контролируемых сетей стоит дорого. У Кохонена был только один шанс, и он вложил в него все силы.
Многообещающая ранняя попытка систематизировать вероятностные сети принадлежала Джуде Перлу из Калифорнийского университета в Лос-Анджелесе. Он представил сети доверия, которые связывают элементы в сети для определения вероятности — например, вероятности того, что трава мокрая из-за оросителя или потому что прошел дождь[76]. Это мощная основа для отслеживания причинно-следственных связей в окружающем нас мире, однако у нее был роковой недостаток: трудно определить все вероятности. Для автоматического нахождения вероятностей с использованием алгоритмов обучения требовался прорыв. Это стимулировало создание алгоритмов обучения нейронных сетей, речь о которых пойдет во второй части книги.
У этих и других попыток создания нейросетей была общая черта: ни одна из них не работала достаточно хорошо для того, чтобы решать проблемы окружающего нас мира. Более того, первопроходцы редко объединяли свои усилия, что замедляло прогресс. Как следствие, лишь немного ученых, изучающих ИИ в МТИ, Стэндфордском университете и Университете Карнеги — Меллон, воспринимали нейронные сети всерьез. Обработка символов на основе правил получала бо́льшую часть финансирования и заданий. Работать над нейронными сетями в ту эпоху — это как быть млекопитающим, покрытым мехом, в эпоху динозавров.
Первые успехи
В 1979 году Джеффри с Джеймсом Андерсоном, психологом из Брауновского университета, организовали семинар по параллельным моделям ассоциативной памяти[77] в Ла-Хойя. Большинство участников семинара встречали друг друга впервые. Я был постдокторантом[78] в Гарвардской медицинской школе, занимался нейробиологией и написал всего несколько узкоспециализированных статей о нейронных сетях, опубликованные в малоизвестных журналах. Именно поэтому я был удивлен, когда меня позвали на встречу. Джеффри потом сказал мне, что они с Дэвидом Марром (рис. 4.2) проверяли меня. Марр был видной фигурой в нейросетевом моделировании и главным идеологом лаборатории искусственного интеллекта в МТИ. Я впервые встретил Марра на небольшом собрании в Джексон-Хоул[79] в 1976 году. У нас были схожие интересы, и он пригласил меня прочитать лекцию в МТИ.
Рис. 4.2. Слева направо: Томазо Поджио, Дэвид Марр и Фрэнсис Крик во время прогулки в Калифорнии в 1974 году. Фрэнсис любил вести со своими гостями длинные дискуссии на различные научные темы.
72
Christoph von der Malsburg. «The correlation theory of brain function.» Internal Report 81–2, MPI Biophysical Chemistry, 1981. See Reprint in Models of Neural Networks II, chapter 2, pages 95–119. Springer, Berlin, 1994. fias.uni-frankfurt.de/fileadmin/fias/malsburg/publications/vdM_correlation.pdf
73
P. Wolfrum, C. Wolff, J. Lücke, and C. von der Malsburg. «A recurrent dynamic model for correspondence-based face recognition.» Journal of Vision 8, 1–18, 2008.
74
Fukushima, Neocognitron (1980). «A self-organizing neural network model for a mechanism of pattern recognition unaffected by shift in position». Biological Cybernetics. 36 (4): 93–202.
75
Kohonen Teuvo (1982). «Self-Organized Formation of Topologically Correct Feature Maps». Biological Cybernetics. 43 (1): 59–69.
76
Pearl J. 1988. Probabilistic Reasoning in Intelligent Systems: Networks of Plausible Inference. San Mateo, Calif.: Morgan Kaufmann.
78
Временная (на 2–4 года) позиция кандидата или доктора наук, который занимается научно-исследовательской деятельностью.