Как провести a/b тестирование элемента страницы, не создавая дубля страницы?
Как провести a/b тестирование кнопки, расположенной во множестве мест посещаемого сайта?
Знаю, как делать такое тестирование, если речь идет только об одной странице, для которой создается дубль. Но что делать, если нужно протестировать другую подачу интерфейсного элемента на большом работающем сервисе?
Проблема, как правильно разделить пользователей, какую выборку сделать и из кого? Чтобы по-минимуму беспокоить большую часть сообщества и по-максимуму получить достоверные данные.
Делите пользователей на тестовую и контрольную группы, используя любой из методов семплирования (en.wikipedia.org/wiki/Category:Sampling_techniques). Потом пользователям из разных групп показываете соответствующие элементы (лишний if в коде шаблона), передаете в используемую систему аналитики информацию о том, к какой группе относился пользователь, и замеряете конверсию.
Про выборку
1)Отсегментировать выборку по частоте использования сервиса (в течение месяца заходов больше чем N или число комментов больше чем N). UserID или ClientID через custom dimension вам в помощь
2) Дисперсионный анализ. Размах в данных и вариация, чтобы понять отклонение по выборке
3) Ну и как найдете самые стабильные группы, посчитайте оптимальный размер для теста от ожидаемого эффекта
16*p*(1-p)/б2
p-текущая конверсия (относительное значение)
б-ожидаемый эффект (относительно значение)
Ну, логично предположить, что раз при тестировании одной страницы вы подаете элемент по-другому, то и для большого сервиса вы делаете также. Так что ответ прост - лезете во все места, где встречается ваша кнопка и подменяете её.
P.S. Видимо пришла пора задуматься об оптимизации вывода этого элемента интерфейса.
Простой
