1970–1980-е.
В это время искусственный интеллект развивался в основном за счет символьных подходов. Символьный подход в искусственном интеллекте — это направление, в котором модели ИИ строятся на основе представления знаний с использованием символов и формальных структур, таких как правила, фреймы и логические выражения. Этот подход также называется когнитивным или GOFAI (Good Old-Fashioned Artificial Intelligence — «старомодный искусственный интеллект[4]»).
Основная идея символьного подхода заключается в том, что знания можно представить в виде символов и манипулировать ими с помощью формальных операций.
Экспертные системы, такие как MYCIN и DENDRAL, стали демонстрировать значительный успех в решении специализированных задач.
1980–1990-е.
В 1980–1990-е годы начали интересоваться идеей распределенной и параллельной обработки информации. Это означает, что множество частей информации обрабатывались одновременно, что было новым подходом в то время.
В 1986 году Румельхарт, Хинтон и Уильямс представили новый метод обучения для многослойных нейронных сетей (в частности перцептрона), называемый алгоритмом обратного распространения ошибки. Многослойные нейронные сети — это сложные структуры, состоящие из множества нейронов, которые работают вместе, чтобы обрабатывать информацию и делать прогнозы.
Алгоритм обратного распространения ошибки заключается в вычислении ошибки между предсказанием нейронной сети и реальным значением. Затем эту ошибку используют для корректировки «весов»[5] или связей между нейронами. Идея состоит в том, чтобы нейронная сеть становилась лучше с каждым шагом обучения.
В 1997 году компьютер Deep Blue от IBM победил мирового шахматного чемпиона Гарри Каспарова.
2000-е.
В это время началось развитие глубокого обучения, были предложены алгоритмы и методы для обучения глубоких нейронных сетей[6]. Особый интерес вызывали сверточные нейронные сети[7] (CNN) для обработки изображений и рекуррентные нейронные сети[8] (RNN) для обработки последовательностей.
2010-е.
Этот период был насыщен значительными достижениями в области глубокого обучения и искусственного интеллекта. В 2012 году на ImageNet, престижном соревновании по распознаванию изображений, сверточная нейронная сеть AlexNet, разработанная Алексеем Крижевским, Ильей Суцкевером и Джеффри Хинтоном, показала революционные результаты на соревновании ImageNet. В этом соревновании участники стремились создать алгоритм, который мог бы самостоятельно классифицировать изображения из набора данных ImageNet, состоящего из миллионов размеченных изображений, принадлежащих к тысячам категорий. AlexNet значительно превзошла все предыдущие алгоритмы по распознаванию изображений, показав ошибку в топ-5 (вероятность правильного предсказания одного из пяти верхних классов) всего около 15,3 %, что было на 10,8 % лучше, чем у предыдущего лучшего участника соревнования. Эти результаты стали сенсацией и подтвердили огромный потенциал глубокого обучения и сверточных нейронных сетей в задачах компьютерного зрения.
Середина 2010-х.
В это время компания Google DeepMind представила свою систему AlphaGo, основанную на глубоком обучении и методах обучения с подкреплением (обучение методом проб и ошибок). В 2016 году AlphaGo победила мирового чемпиона по игре Го, Ли Седоля, это стало важным прорывом в области искусственного интеллекта.
Середина и конец 2010-х.
В это время стали появляться более продвинутые языковые модели на основе нейронных сетей, такие как Word2Vec, GloVe и ELMo, которые применялись для обработки естественного языка. В 2018 году OpenAI представила модель GPT (Generative Pre-trained Transformer), которая считается одним из прорывных достижений в области языковых моделей.
2019 год и далее.
Благодаря развитию и увеличению масштаба, языковые модели стали более мощными и точными. В 2019 году OpenAI выпустила модель GPT-2, а в 2020 году — GPT-3, обладающую еще более высокими точностью и способностью к обучению. GPT-3 стала основой для различных приложений, связанных с обработкой естественного языка, включая чат-боты и множество других сервисов.
Начало 2020-х.
В это время различные организации и компании продолжают исследовать и разрабатывать новые методы и архитектуры для улучшения языковых моделей и глубокого обучения. Бурное развитие нейросетей продолжает стимулировать область искусственного интеллекта и машинного обучения.
4
Данное определение было введено Джоном Хогеландом в книге «Искусственный интеллект: сама идея». —
5
Вес — это числовое значение, которое определяет силу связи между двумя нейронами или узлами в сети. Веса используются для моделирования того, насколько сильно один нейрон должен влиять на другой при передаче информации.
6
Глубокая нейронная сеть — это многослойная нейронная сеть, которая состоит из множества слоев обработки информации. Каждый слой обычно содержит множество нейронов, и каждый нейрон связан с нейронами в следующем слое. Особенность многослойных нейронных сетей в том, что они содержат скрытые слои.
7
Сверточная нейронная сеть — это тип глубокой нейронной сети, которая особенно хорошо подходит для обработки и анализа изображений. Она состоит из нескольких слоев, каждый из которых выполняет определенную функцию.
8
Рекуррентная нейронная сеть — это нейронная сеть, способная анализировать последовательности данных, учитывая контекст и зависимости между элементами последовательности. Она обладает способностью сохранять информацию о предыдущих состояниях внутри сети и использовать эту информацию для обработки последующих элементов.