Как провести a/b тестирование элемента страницы, не создавая дубля страницы?

Question

[Максим Каракулов]

Как провести a/b тестирование кнопки, расположенной во множестве мест посещаемого сайта?

Знаю, как делать такое тестирование, если речь идет только об одной странице, для которой создается дубль. Но что делать, если нужно протестировать другую подачу интерфейсного элемента на большом работающем сервисе?

Проблема, как правильно разделить пользователей, какую выборку сделать и из кого? Чтобы по-минимуму беспокоить большую часть сообщества и по-максимуму получить достоверные данные.

Answer 1

[Арсений Кравченко]

Делите пользователей на тестовую и контрольную группы, используя любой из методов семплирования (en.wikipedia.org/wiki/Category:Sampling_techniques). Потом пользователям из разных групп показываете соответствующие элементы (лишний if в коде шаблона), передаете в используемую систему аналитики информацию о том, к какой группе относился пользователь, и замеряете конверсию.

Answer 2

[Oleganalytics]

Про кнопку, используйте GET параметры.

Про выборку
1)Отсегментировать выборку по частоте использования сервиса (в течение месяца заходов больше чем N или число комментов больше чем N). UserID или ClientID через custom dimension вам в помощь
2) Дисперсионный анализ. Размах в данных и вариация, чтобы понять отклонение по выборке
3) Ну и как найдете самые стабильные группы, посчитайте оптимальный размер для теста от ожидаемого эффекта
16*p*(1-p)/б2
p-текущая конверсия (относительное значение)
б-ожидаемый эффект (относительно значение)

Answer 3

[andymitrich]

Ну, логично предположить, что раз при тестировании одной страницы вы подаете элемент по-другому, то и для большого сервиса вы делаете также. Так что ответ прост - лезете во все места, где встречается ваша кнопка и подменяете её.

P.S. Видимо пришла пора задуматься об оптимизации вывода этого элемента интерфейса.

Answer 4

[azShoo]

Ставите отдельный триггер на показ этого элемента и добавляете лишний if во всех нужных вам местах. В чем проблема-то?

Comments

[Максим Каракулов]

Проблема, как правильно разделить пользователей, какую выборку сделать и из кого? Чтобы по-фминимуму беспокоить большую часть сообщества.

Answer 5

[Scissor]

Максим, тест можно разделить по времени. В первом периоде собираете статистику по первому варианту интерфейса, а во втором - по второму.

Comments

[Максим Каракулов]

Но тогда мы можем получить две несоизмеримые друг с другом когорты, и ценность полученных данных будет подвергнута сомнению (=