Какая точность и принцип работы класса для сплит-тестирования phpA-B?

Question

[stas]

Добрый день!
Есть необходимость попробовать класс для сплит-тестирования phpA-B.

Посмотрел, к сожалению не нашел отзывов и толковых описаний результатов работы с данным классом, ищу тех кто работал с ним, для ответа на вопрос: на сколько точное получается деление при двух-вариантном сплит-тестировании? Если я правильно понял, разбивка происходит рандомом:

...	
	srand((double)microtime() * 1000003);
	$this->current_variation_key = array_rand($this->variations);
	$this->current_variation = $this->variations[$this->current_variation_key]['name'];
...

Тесты будут проходить периодически, но малым сроком (не спрашивайте почему, такова необходимость/условия) и поэтому важна точность разбивки пополам. Стоит применять в данном случае этот класс или лучше хранить значение последнего выданного варианта (А/Б) и при отсутствии куки у посетителя менять его на противоположный, получая таким образом точную очередность вариантов (с погрешностью в 1, в зависимости от конца периода и четного/нечетного последнего пользователя)?
GoogleAnalytics тоже не предлагать, интересует конкретно серверный вариант тестирования.

Answer 1

[Дмитрий Энтелис]

С учетом теории вероятности - распределение в первом случае может быть не совсем 50/50.
Но тут Вам надо четко понимать 2 очень важные вещи:
1) При сплит-тестах, надо мерять не количество целевых действий, а конверсию в процентах.
Т.е к примеру случай A был показан 2000 раз, сделано 20 покупок, конверсия 1%.
случай B был показан 1000 раз, сделано 15 покупок, конверсия 1,5%.
Т.е случай B на 50% лучше случая A.
2) Любые сплит-тесты имеют смысл на большой выборке. Подробнее можно почитать в гугле или liraltd.com/raschet-dlinyi-vyiborki-dlya-testirovaniya

Comments

[stas]

Ну... нет, я то полностью с вами согласен и знаю эти базовые принципы прекрасно!)
Но таков случай - срез мал (и ничего не поделаешь), исходя из этого (естественно мерить будем по конверсии), считаем нужно делить хотя бы поровну, так сказать уравнивать оба варианта.

[Дмитрий Энтелис]

@stas3572 еще раз: если срез мал - AB тестирование бесcмысленно(!!!!) и даже вредно, т.к потребляет ресурсы команды и при этом может ухудшить ситуацию.
AB тестирование это инструмент СТАТИСТИКИ. Вы можете на маленьком срезе хоть идеально поровну поделить - и получите все равно цифру НИЧЕГО не имеющего с результатом

[stas]

еще раз говорю, я это понимаю. стоит задача, ее надо выполнить, мои доводы против - не сработали. Надо, так надо, потому пытаюсь хоть как-то улучшить ситуацию (по моему мнению, это хотя бы отдавать оба варианта поровну). Ну и на самом деле там принцип какой - лэндинг суточной распродажи доменов, периодически будет запускаться, холивар, да даже не холивар, а просто желание маркетолога - посмотреть влияет ли на восприятие одна незначительная мелочь. Вести клиентов будут не с контекста и не с директа, а из соц. сетей преимущественно (под это заточен лэндинг, реклама в социалках). Но в целом... задача стоит, ничего не поделаешь. А на "оть*бись" ее делать не хочу.

[stas]

в общем, ладно, спасибо вам, в целом то я больше хотел по классу этому узнать кто пробовал и как он, ибо в будущем возможно его будем использовать для нормального проекта и в нормальных условиях. я пока еще подержу вопрос, вдруг кто ответит еще чего, а потом вам засчитаю ответ за решение ;)

[Дмитрий Энтелис]

@stas3572 этих классов как собак нерезаных. почти каждая крупная контора пишет свой