Прогресс методов машинного обучения в целом и глубокого обучения в частности свидетельствует о возможности эффективного применения доступных данных для точного прогнозирования оттока клиентов. И сейчас очевидно их превосходство над регрессией и многими другими методами.
Прогнозирование в других сферах
Помимо оттока клиентов машинное обучение улучшило прогнозирование во многих других сферах, от рынка до погоды.
Финансовый кризис 2008 года ознаменовал крах основанных на регрессии прогностических методов. Отчасти в кризисе виновны прогнозы вероятности дефолта по обеспеченным долговым обязательствам. В 2007 году агентства уровня Standard & Poor прогнозировали, что в ближайшие пять лет вероятность не получить доход по обязательствам с рейтингом ААА[27] составит 1 из 800. Пятью годами спустя больше одного из четырех обеспеченных долговых обязательств не принесли дохода. Изначальный прогноз оказался провальным, несмотря на обширные данные по предыдущим дефолтам.
Проблема заключалась не в недостатке данных, а в том, как аналитики использовали их для прогнозирования. Рейтинговые агентства исходили из моделей множественной регрессии, в которых цены на недвижимость на разных рынках друг с другом не сопоставлялись. В этом и состояла ошибка, и не только в 2007 году, но и раньше. Прибавьте сюда одновременное потрясение нескольких рынков недвижимости, и вероятность потерь на обеспеченных долговых обязательствах резко возрастает, даже если они распределены по многим городам США.
Аналитики создают регрессионные модели на основе гипотез о том, что именно (и с какими характеристиками) имеет значение, – для машинного обучения все это не нужно. Модели машинного обучения особенно хороши для вычленения полезных переменных из множества и определения, что не имеет значения, а что, как ни удивительно, наоборот. К сегодняшнему дню интуиция и гипотезы аналитиков утратили свою значимость. Таким образом, машинное обучение позволяет делать прогнозы на основе непредусмотренных сопоставлений, как, например, то, что цены на недвижимость в Лас-Вегасе, Фениксе и Майами изменятся одновременно.
Если это всего лишь прогноз, за что его называют интеллектом?
Недавний прогресс в машинном обучении преобразовал применение статистики для прогнозирования. Последний рывок в развитии ИИ наводит на мысль, что машинное обучение – это всего-навсего «навороченная традиционная статистика». В каком-то смысле так и есть, поскольку цель та же – заполнение информационных пробелов. К тому же в процесс машинного обучения входит поиск решения с минимизацией ошибок.
Итак, за что же машинное обучение считается революционной вычислительной технологией и заслужило название «искусственный интеллект»? В некоторых случаях прогнозы настолько хороши, что их можно использовать вместо основанной на правилах логики.
Эффективная прогностика меняет компьютерное программирование. Ни традиционные статистические методы, ни алгоритмы «если, то» не работают в сложной среде настолько успешно. Хотите найти кошку на одном изображении из нескольких представленных? Уточните, что кошки бывают разного окраса и с шерстью длинной, короткой, курчавой и т. д. Они могут стоять, сидеть, лежать, прыгать, хмуриться, как Грампи-кэт, и находиться где угодно. Все сразу усложняется: даже для более или менее сносных результатов следует предусмотреть очень многое. И это только в отношении кошек. А если необходимо описать все объекты на изображении? Для каждого придется составлять отдельные спецификации.
Ключевая технология глубокого обучения основана на так называемом обратном распространении. С ним машина учится примерно так же, как наш мозг – на примерах (насколько искусственные нейроны похожи на настоящие – еще один интересный вопрос помимо достоинств технологии). Когда ребенка учат слову «кошка», то повторяют его каждый раз при появлении животного; в машинном обучении действует тот же самый принцип. Снабдите компьютер фотографиями кошек с названием «кошка» и фотографиями без кошек и, соответственно, без этого названия. Машина научится распознавать паттерны пикселей, связанные с названием «кошка».
При наличии фотографий с кошками и собаками связь между кошкой и четырехногим объектом укрепится, как и связь между ним же и собакой. Без дальнейших уточнений можно загрузить несколько миллионов разных изображений (в том числе без собак) с названиями, тогда у машины появится больше ассоциаций, и она научится отличать кошек от собак.
27