Оценивать лучший результат рекомендую сразу по нескольким параметрам:
Цель 1: Конверсия в покупки для тестируемых страниц – нам важно не только количество покупок, в целом совершенное посетителями тестируемых страниц, но и сколько из них участвовали в акции. Это отслеживание можно установить в Google Analytics с помощью событий. Цель «Транзакция» является основной для принятия решения о победе или проигрыше варианта.
Если статистики по первой цели будет недостаточно, мы будем ориентироваться на вторую цель. В нашем случае срок действия акции ограничен, поэтому можно не накопить статистически верных результатов теста.
Цель 2: Просмотр 2-х и более страниц – был ли совершен дополнительный целевой переход со страницы акции к товарной группе. Т.е. фактически оценить расположение и привлекательность блоков и ссылок на странице.
Цель 3: Конверсия в зависимости от сегмента посетителя. Нам важно отдельно проанализировать конверсию пользователей в зависимости от источника посетителя. В эксперименте будут участвовать пользователи, перешедшие с рассылки и те, кто перешел к акции с сайта. Обычно эти сегменты посетителей показывают разную конверсию на одной и той же целевой странице. Наша задача - увидеть эту разницу и предложить лучший вариант страницы для каждого сегмента, т.к. мы можем этим сегментам показывать разные страницы.
К сожалению, в Google Content Experiments можно задать только одну цель. Но в дальнейшем результаты эксперимента можно проанализировать с точки зрения достижения других целей вручную.
Задаем основную цель эксперимента – «Транзакция».
Рисунок 5. Выбор целей эксперимента
Шаг 4. Размещение кодов эксперимента на основной странице эксперимента
Обратите внимание, что код необходимо размещать в начале основной страницы эксперимента, после открывающего тега<head>
Рисунок 6. Код для проведения эксперимента
Справка
Код эксперимента обязательно должен находиться в секции <head>. При загрузке скрипт тестирования определяет, какой вариант увидит пользователь и производит redirect пользователя на нужную страницу.
Шаг 5. Начало эксперимента, проверка работы эксперимента
Проверить, установлены ли коды на странице, поможет встроенный анализатор:
Рисунок 7. Проверка кода на страницах
Рекомендуется после запуска эксперимента убедиться, что все работает корректно. Для этого:
1. Зайдите на основную страницу эксперимента: www.site.ru/action/ и посмотрите файлы cookies. Попытайтесь несколько раз удалить файлы cookies и увидеть различные варианты страницы. Удалять файлы cookies необходимо, чтобы повторно участвовать в эксперименте.
2.Зайдите на вторую страницу эксперимента www.site.ru/action1/. Поскольку страница тестовая, на ней не должно происходить редиректов и подмены содержания.
Ход эксперимента
Если вы уже проводили эксперимент с помощью Google Content Experiments, то, скорее всего, заметили, что система не делит трафик 50/50 между страницами. Показы распределяются по принципу производительности. Это позволяет снизить риск проигрыша во время проведения эксперимента.
Пояснения
После запуска эксперимента в Google Content Experiments трафик будет распределяться не пропорционально между вариантами. Принцип распределения трафика описан как Принцип Гиттинса или Multi-armed bandit problem, http://en.wikipedia.org/wiki/Multi-armed_bandit_problem http://ru.wikipedia.org/wiki/Индексы Гиттинса.
Эксперты Google Analytics до сих не могут прийти к единому мнению о том, какой принцип показов лучше: 50 на 50 или основанный на взвешенной оценке показов. Скорее всего, в обновленной версии инструмента появится возможность выбора стратегии показов.
Шаг 6. Анализ результатов
Через некоторое время в интерфейсе Google Content Experiments вы увидите результаты.
Рисунок 8. Анализ результатов. Вкладка «Конверсия»
Вкладка «Конверсии» - показывает результаты по выбранной вами цели. В нашем случае это «Транзакция».
Также вы можете посмотреть результаты по другим целям, обозначенным на сайте. Или сегментировать аудиторию.
Рисунок 9. Анализ результатов. Вкладка "Набор целей1"