Когда останавливать A/B тестирование

Question

[Иван Никитин]

Какой объем трафика, из вашего опыта, необходим, чтобы достоверно решить какой из вариантов лучше?

Я сейчас делаю A/A тестирование с помощью Google Analytics. Спустя 600 посещений он показывает, что один из вариантов в 2 раза лучше другого. Хотя это невозможно, т.к. варианты — одинаковые. Сколько нужно ждать, чтобы показатель конверсии сравнялся?

Answer 1

[Виталий Перетятько]

Я думаю, что это зависит от вашего сайта. Если у вас очень низкий показатель конверсии, то скажем при вашем эксперименте вариант А набрал 2 конверсии, а В — 1 при 600 посещений, вот и получется «в два раза». Фактически это — ваша контрольная группа. Посмотрите, при каком количестве посещений они устойчиво сравняются, это и будет приблизительно размер вашей минимально статистически значимой выборки.

Comments

[SergiiL]

Согласен с этим мнением!

Answer 2

[HareX]

Из опыта вынес, что делать сколько-либо значимые выводы о качестве той или иной страницы нельзя, пока она не сгенерировала более 25-30 конверсий. В большинстве случаев, к этому моменту уже достаточно уверенно можно говорить о conversion rate страницы.

Хотя в некоторых случаях результат был вполне устоявшимся уже на 10-15 продажах.

Comments

[Иван Никитин]

Сейчас конверсий более сотни, но результат нестабильный. Буду ждать дальше

Answer 3

[snikolenko]

Рекомендую многоруких бандитов, они даже в простейшем виде решают эту проблему автоматически.