Шаг 8. Анализ результатов
Анализ эксперимента мы проводим в интерфейсе GA. Это очень удобно, т.к. вся аналитика по проекту уже настроена в Google Analytics, и мы можем использовать «Расширенные сегменты».
Выводы:
Основным достоинством Visual Website Optimizer является возможность провести эксперимент с минимальным участием программистов сайта или IT-отдела заказчика, что значительно сокращает время на внедрение эксперимента.
Расширенная функциональность системы позволяет реализовать фактически любой сценарий тестирования.
Самым весомым недостатком Visual Website Optimizer является ценообразование. Вы можете получить бесплатную 30-дневную пробную версию, но помимо этого минимальная стоимость использования системы составляет около $ 50 в месяц.
12.2.3 Тестируем две версии дизайна сайта в A/B тесте
Задача 3: Необходимо провести A/B эксперимент между новой и старой версией сайта и проанализировать улучшение целевых показателей.
Пояснение
Мы не можем использовать предложенные ранее варианты тестирования, т.к. содержание сайта, как и основной URL может быть совершенно разными в двух версиях сайта.
Фактически задача тестирования сводится к разработке скрипта, который будет распределять трафик сайта 50/50 и записывать результат деления в cookies. Пользователю в зависимости от cookies будет показываться один или второй вариант сайта.
Задача анализа результатов решается с помощью Google Analytics. В каждом из вариантов сайта необходимо присвоить пользовательское значение, например:
Видят старую версию сайта:
_gaq.push(['_setCustomVar',
5,
'experiment',
'Old version', //вариант, который видит пользователь
1
]);
Видят новую версию сайта:
_gaq.push(['_setCustomVar',
5,
'experiment',
'NEW version', //вариант, который видит пользователь
1
]);
Задача подсчета статистически значимых результатов проводится с помощью файла Excel, вручную.
Пример скрипта php, который делит аудиторию сайта 50/50.
<?php
//Скрипт делит аудиторию на две части для нужного landing page
//Landing page
$cookieName = 'experimentVariantId';
// Проверяем установлен ли уже id варианта
if (isset($_COOKIE['experimentVariantId'])) {
//установлен, читаем из кук
$experimentVariantId = $_COOKIE[$cookieName];
} else {
$experimentVariantId = rand(1,2);
}
setcookie($cookieName, $experimentVariantId, (time() + (60*60*24*30*6)), "/");
switch ($experimentVariantId) {
case 1:
//показывает 1 вариант
echo 'Вариант 1';
break;
case 2:
//показываем 2 вариант
echo 'Вариант 2';
break;
case 0:
default:
// ничего не показываем, возникла какая-то неопределенность
echo 'Default';
break;
}
Выводы:
Последний вариант реализации тестирования универсален, но требует большой нагрузки от IT-отдела, управляющего сайтом. Возможно, стоимость проведения такого тестирования, с учетом затрат на IT, будет выше, чем использование VWO.
Заключение
В завершении всей лекции хотелось бы отметить, что юзабилити постоянно развивается, появляются новые подходы и идеи, но остаются и базовые моменты, которые необходимо знать и которым необходимо следовать.
Из всей этой лекции необходимо вынести следующие:
Юзабилити – это степень, с которой продукт может быть использован определёнными пользователями при определённом контексте использования для достижения определённых целей с должной эффективностью, продуктивностью и удовлетворённостью.
Сегодня юзабилити является одним из перспективных направлений развития пользовательских интерфейсов информационных продуктов и становится необходимым условием выживания в области информационных технологий. На данный момент лидером в данной отрасли является компания USABILITYLAB. Развитие рынка юзабилити России и его интеграция с рынками других стран набирается все большие и большие обороты.
Появление национального стандарта по юзабитили ГОСТ Р ИСО 9241-210-2012 «Эргономика взаимодействия человек-система. Часть 210. Человеко-ориентированное проектирование интерактивных систем».
Для создания действительно классного продукта нужно выйти из зоны комфорта и понять, что нужно юзеру при условии, что он сам этого объяснить не может.
Не дизайнер, не пользователь — это должен быть третий человек, который разрушит их иллюзии. И это будет выход в новое измерение.
Цель юзабилити – повышение конверсии сайта путем повышения юзабилити сайта.
Проработка юзабилити осуществляется по трем этапам анализ – прототипирование – тестирование. Весь этот процесс итерационный и если желаемый результат не достигнут, происходит возвращение к начальному этапу.