Правильное ли понимание AB тестов у меня?

Question

[frontjss]

мне тут коллега по работе сказал что я делаю аб тесты не правильно

суть в следующем когда мне нужно было проверить гипотезу по какой либо ключевой метрике я подбирал группы исключительно опираясь на ключевую метрику

а мой коллега сказал что так делать нельзя

говорит что хоть я и подберу две одинаковые группы по ключевой метрике но если еще будут учтены метрики которые отвечают за пропорции это может увеличить точность результата теста, иначе у нас группы хоть и будут подобранны верно по ключевой метрике но будут отличаться в других пропорциях и при разных пропорциях те или иные изменения изменения в группах будут влиять по разному

правильно ли это, и где можно прочитать об этом, может все что я описал как то называется, чтобы это «погуглить»?

Answer 1

[Василий Банников]

Чтобы а/б тест был корректным - тестовые группы пользователей должны быть схожими.

Тоесть, делить группы случайным образом - корректно.
Делить группы по какому-то конкретному параметру - некорректно.

Answer 2

[Dimonchik]

почитать тут и в трех книжках на русском по статистике, которые есть для неспециалистов

там что-то вроде "статистика для ленивых" ну и Манга серию можно