А если правильно, то юзеров по какому-нибудь Вами придуманному алгоритму(например, по возрасту, геолокации или вообще рандомно) делят на группы: 1 контрольная (стандартные настройки сайта) и 1 и больше тестовых групп.
Когда заходит юзер, который входит в тестовую группу, ему показывается другой шаблон, или предлагается купить продукт дешевле.
В конце периода работы А\Б теста можно делать срезы по юзерам - у какой группы лучше конверсия.