Два исследователя в области маркетинга, Маркус Вюббен и Флориан фон Вангенхайм, изучили точность прогнозирования эвристики хиатуса по сравнению с двумя широко используемыми стохастическими моделями - Парето/NBD (отрицательное биномиальное распределение) и BG/NBD (BG = бета-геометрическое). 7 Они протестировали эти модели в трех компаниях, каждая из которых предоставила более 2000 записей о клиентах. Оказалось, что эвристика хиатуса дает наиболее точные прогнозы. Интересно, что значения единственного свободного параметра эвристики (т. е. продолжительность перерыва в работе в течение x месяцев), которые, по расчетам исследователей, дадут ей наибольшую точность, оказались очень близки к тем, которые интуитивно использовали менеджеры, работающие в соответствующих компаниях (т. е. около девяти месяцев).
Последующее исследование включало еще двадцать четыре компании в сфере розничной торговли. 8 В него также вошли два алгоритма машинного обучения, случайный лес и регуляризованная логистическая регрессия, как более мощные конкурирующие модели. Как показано на рис. 12.1 , две модели машинного обучения предсказывали точнее, чем две стохастические модели; однако их точность предсказания не превзошла точность предсказания эвристики хиатуса. Покупательская деятельность клиентов не происходит в стабильном мире: слишком много факторов могут повлиять на ее результаты. Здесь меньшее может стать большим.
Рисунок 12.1
Эвристика хиатуса может предсказывать покупательскую активность клиентов так же хорошо или лучше, чем алгоритмы машинного обучения (случайный лес и регуляризованная логистическая регрессия) и стохастические модели (Парето/НБД и БГ/НБД). Результаты основаны на данных о потребителях двадцати четырех компаний розничной торговли. Столбики ошибок указывают на стандартные ошибки. NBD = отрицательное биномиальное распределение; BG = бета-геометрическое. По материалам Artinger et al. (2018).
Вдохновившись этими результатами, группа исследователей из Берлина опросила менеджеров, чтобы выяснить, как они прогнозируют будущий доход от клиентов. 9 Эти менеджеры работали в технологической компании, которая продавала in-app продукты для мобильных игр (например, специальное снаряжение и персонажей). Им часто требовалось спрогнозировать годовую выручку клиента после того, как он поиграет в игру всего семь дней, чтобы помочь компании выявить высокоценных клиентов на ранней стадии. Часто упоминаемой стратегией была эвристика умножения: Умножаем доход, полученный клиентом за первые семь дней, на константу 6. В общем виде эвристика выглядит следующим образом:
Эвристика множителя: Прогнозирование того, что будущий годовой доход от продаж клиента, продукта или магазина равен доходу, полученному в период наблюдения, умноженному на константу X.
Затем исследователи проверили точность прогнозирования эвристики в пяти мобильных играх. В каждой игре количество покупателей, чьи записи о покупках использовались для теста, было достаточно большим - от 42 183 до 215 653. Были рассмотрены две версии эвристики: оригинальная multiply-by-6, не имеющая свободного параметра, и версия, в которой множитель рассматривается как свободный параметр, настраиваемый для каждой игры. Регулировка множителя не принесла дополнительных преимуществ, поскольку обе версии имели одинаковый уровень точности прогнозирования. Что очень важно, обе версии были настолько же точны, как и три алгоритма машинного обучения: регрессия LASSO (оператор наименьшего абсолютного сокращения и выбора), гребневая регрессия и случайный лес (см. верхнюю часть рис. 12.2 ).
Рисунок 12.2
Эвристика множителя предсказывает доход от покупок в приложениях так же хорошо, как и сложные алгоритмы машинного обучения, используя множитель 6, предоставленный менеджерами (верхняя панель). Для различных задач прогнозирования выручки тот же множитель работает хуже, но другой множитель может быть оценен по данным (multiply-by-X), что приводит к лучшей производительности, чем у алгоритмов машинного обучения, которые также оценивают свои параметры (нижняя панель). RMSE - среднеквадратичная ошибка. Столбики ошибок показывают стандартные ошибки. Эти столбики намного больше, когда производительность усредняется по пятнадцати различным задачам (нижняя панель), чем когда она усредняется по пяти экземплярам одной и той же задачи покупки в приложении (верхняя панель). По материалам Artinger, Kozodi и Runge (2020).