Применение соотношения показателей важности и удовлетворенности на реальных данных
Для лучшего понимания рассматриваемой концепции давайте применим ее к данным, относящимся к реальному продукту. Работая над одним из проектов, мы периодически проводили опрос наших пользователей с целью получения их оценки предлагаемых ключевых функций. В рамках одного из опросов мы попросили пользователей оценить степень важности 13 ключевых функций продукта, а также уровень удовлетворенности их работой. Мы усреднили оценки, полученные для каждой функции, и нанесли их на график, как показано на Рисунке 4.4. Каждая из 13 точек, которые вы видите, соответствует определенной ключевой функции. Число, указанное рядом с каждой точкой, – это усредненная оценка удовлетворенности пользователей данной функцией. В правом верхнем углу вы можете видеть точку, относящуюся к функции, о которой я упоминал ранее: получившей 100 %-ную оценку по важности и 98 %-ную по удовлетворенности. Как менеджер продукта я был очень доволен таким результатом. Поскольку эта функция уже работала максимально хорошо, я не хотел тратить драгоценные ресурсы нашей команды на дальнейшие попытки ее улучшить. Вместо этого я сосредоточился на улучшении функции, точка которой (с пометкой «55») находится ближе всего к верхнему левому углу, что говорит о ее высокой важности и низком уровне потребительской удовлетворенности. Согласно данным опроса, эта функция имела 82 %-ную важность, но при этом удовлетворяла потребности пользователей лишь на 55 %. Только одна функция имела еще более низкий показатель удовлетворенности (41 %). Однако она была гораздо менее важной (всего 53 %). Стоит отметить, что клиенты способны оценить свою удовлетворенность решением только в том случае, если они им реально пользовались.
Я часто сталкиваюсь с ситуациями, когда разработчики нового продукта сетуют на то, что у них пока еще нет потребителей, которых они могли бы опросить. Они обеспокоены тем, что не могут охватить своим опросом достаточное количество клиентов для достижения статистической достоверности полученных данных. Но даже в том случае, когда у вас нет возможности опросить несколько тысяч пользователей, вы все равно можете получить значимые результаты.
Рисунок 4.4. Соотношение показателей важности и удовлетворенности на реальных данных
Нулевой размер выборки – это нормально
Давайте вернемся к Uber. Предположим, мы проводим индивидуальные интервью с каждым из 25 человек, которые часто пользуются услугами такси, и задаем им вопросы на тему важности и удовлетворенности. Как вы думаете, какой процент опрошенных, будет «полностью удовлетворен» своим опытом потребления данной услуги? Смею предположить, что немногие (если не сказать никто) из 25 опрошенных выбрали бы этот вариант ответа. В ходе интервью мы хотели бы получить больше информации о клиентских потребностях в комфорте, удобстве использования, безопасности, надежности и так далее. Представьте, что мы попросили 25 клиентов оценить важность каждого из перечисленных преимуществ, а также соответствующий уровень удовлетворенности ими, на основе личного опыта. При этом вполне вероятно, что в полученных результатах мы смогли бы увидеть значимые закономерности – даже несмотря на то что опросили далеко не тысячи пользователей. Например, если очень большой процент опрашиваемых оценивает какой-то параметр одинаково высоко или низко, есть неплохой шанс, что похожий результат будет получен и при опросе гораздо большего числа респондентов. Я называю эту технику «восполнением количества за счет качества» – количественный анализ на качественных данных. Однако должен предупредить, что использовать такой подход следует с большой осторожностью. Это редко используемый инструмент. Статистический анализ имеет массу преимуществ, но очень многие продакт-менеджеры убедили себя в том, что они нуждаются исключительно в таких доказательствах, которые не оставляют даже тени сомнения. Вместе с тем случаи бывают разными. Довольно часто, особенно на ранних стадиях работы над продуктом версии v1, применение канонических статистических методов просто невозможно. Значимость статистических показателей велика, но далеко не всегда у вас есть размер выборки, необходимый для обеспечения высокой степени их достоверности. Поэтому принцип «все или ничего» здесь не применим.