Почему разбиение по четным и нечетным ID не даёт одинаковых по поведению когорт пользователей (в A/A тестировании)?

Question

[Максим Каракулов]

Пытаюсь провести A/A тестирование: проверяю, как пользователи реагируют на одну и ту же форму, чтобы потом показать им две разные формы и выбрать ту, которая даёт больше всего конверсий.

Разбил пользователей по их ID. Записываю отдельно число сабмитов формы для четных пользоваталей, и отдельно — для нечетных.

Тест длится уже 10 дней, собрано порядка 50 событий. И все эти дни постоянно «выигрывают» нечетные! Причем не на несколько процентов, а в пропорции два к одному, то есть в два раза. Не было ни дня, чтобы выиграли четные или хотя бы сравнялись с нечетыми.

Как быть в такой ситуации, что это за заговор такой? (=

Comments

[Eddie1947]

А можете подробнее пояснить про ID?

[Максим Каракулов]

Eddie1947: при регистрации на сайте каждому пользователю присваивается уникальный идентификационый номер. Каждому следующему пользователю присваивается номер, на единицу больше предыдущего.

Когда мы проводим тест, мы смотрим в базу данных, какой ID у пользователя: если четный, то показываем один блок, а если нечетный, то другой.

Answer 1

[Oleganalytics]

А можете пояснить про использование ID?
Я как понимаю вы UserID передаете?