Самый эффектный и убедительный прорыв в этой области пришел из другой дисциплины – информатики. С 1950-х годов психологи и программисты стремились создать по образцу работы наших нейронов и анатомии коры мозга системы искусственного интеллекта. Они воспроизводят архитектуру нашего мозга, а потому поведение этих систем проясняет нам явления, происходящие в голове.
Один из первопроходцев, Фрэнк Розенблатт (1928–1971), стоял у истоков первой математической и компьютерной модели отдельного нейрона. Оставалось смоделировать поведение сложных сетей, способных имитировать наше зрение. Технология топталась на месте десятилетиями, воодушевление не раз сменялось разочарованием и наоборот. Трое ученых, Джеффри Хинтон, Ян Лекун и Йошуа Бенжио, продолжали верить. История показала, что они правы.
В конце 2000-х годов их алгоритмы глубокого обучения настолько продвинулись, что стали способны решать сложные задачи по распознанию образов, такие как определение наличия слонов.
Правильная метафора
Около 2010 года, когда я начал приобщаться к этим алгоритмам, я с восторгом обнаружил там описание процесса понимания, впервые совпавшее с моими ощущениями.
Пластичность мозга, неизбежная двусмысленность человеческого языка, роль времени и поисков наощупь в работе по прояснению, внезапное ощущение очевидности – все эти могущественные и таинственные явления, которые так долго интриговали меня и о которых я веду рассказ с самого начала книги, вдруг стали осязаемыми и конкретными.
Стало возможным говорить о них, не обращаясь к какой-нибудь, не знаю, черной магии.
Эта тема настолько меня заворожила, что я решил завершить математическую карьеру. Я только что закончил важный цикл в научной работе по алгебре и геометрии и увидел возможность исследовать радикально новую тему, которая могла прояснить то, что я пережил.
Я решил подойти к ней самым практичным образом, какой только возможен, создав компанию по вопросам искусственного интеллекта и тем самым отказавшись от научной карьеры.
Если нужно понять природу нашего интеллекта и механизмы нашей мысли, алгоритмы глубокого обучения дают наилучшую из известных мне метафор.
Слоновый нейрон
Первая загадка, которую позволяют решить алгоритмы глубокого обучения, – возникновение концептов. Иначе говоря, то, что тысячелетиями было предметом одного из самых яростных дебатов в метафизике, внезапно превратилось в конкретное материальное явление, зафиксированное неоспоримой экспериментальной реальностью: концептуальная мысль спонтанно возникает из крупного скопления нейронов под воздействием необработанных данных, например потока образов.
В самых общих чертах это работает так. Алгоритмы обучения моделируют кору мозга как сеть из множества слоев нейронов. Первый слой – исходное изображение: сетка нейронов, представляющих пиксели. Второй слой образован нейронами, чьи дендриты связаны с нейронами первого слоя. Третий слой образован нейронами, чьи дендриты связаны с нейронами второго слоя. И так далее. Именно потому, что сеть состоит из множества наложенных слоев, говорится о «глубоком» обучении.
В описании механизма, решающего вопрос о возбуждении нейрона, я не упомянул одну немаловажную деталь: опрос нейроном своих дендритов для выяснения, нужно ли ему возбуждаться, – это опрос взвешенный. Иными словами, каждое соединение нейрона с одним из нейронов предыдущего слоя имеет определенный коэффициент, определяющий вес его голоса в решении.
Под воздействием потока необработанных изображений сеть постепенно корректирует коэффициенты всех нейронных связей в соответствии с механизмом, который мы объясним через несколько страниц.
Именно через эту настройку коэффициентов сеть «учится» и «умнеет».
Когда запускается подобный алгоритм глубокого обучения, например когда ему показывают миллионы и миллионы случайных фотографий из интернета, можно констатировать, что каждый нейрон постепенно специализируется на выявлении определенного концепта.
Концепты первых слоев будут очень примитивными, но в глубоких слоях они будут намного изощреннее.