Какой тут критерий подойдет для аб тестирования?

Question

[frontjss]

у меня в датасете все отмененные позиции

нет такого что вместе с ними есть НЕ отмененные (их нет) - это группа А (контрольная)

а в тестовой группе (B) могут уже находится не отмененные (это типа влияние алгоритма который изменил статус некоторых позиций)

в итоге что тут может подойти ztest чтобы я узнал:

1) у нас стат значимый результат или не стат значимый
2) долю (не стат значимых/либо стат знач) результатов

т.е данные у нас такого вида:
в группе А будет 1659 единиц [1,1,1,1,1...] т.к там все отмены
а в группе B может уже не будут все единицы

Answer 1

[Максим Припадчев]

A_p - пропорция НЕ отмененных в контрольной 0%
B_p - пропорция не отменных в тестовой группе
Нулевой гипотезой будет A_p = B_p
Альтернативной гипотезой A_p не равно B_p

Находите p-value (вероятности увидеть B_p при условии A_p истина) если p-value меньше заранее установленного уровня например в 5% то отвергаете нулевую гипотезу и делаете вывод ЕСТЬ статистическая разница, если нет то мы не имеем достаточно доказательств для отвергания нулевой гипотезы.

в итоге что тут может подойти ztest чтобы я узнал:

ztest - тут не подойдет. Вам нужен тест Фишера на различие двух пропорций. Гуглите Fisher's exact test for two proportions. И там пошагово найдите p-values. И решите вашу задачу.

Comments

[dmshar]

Ну почему-же не подойдёт?
https://www.codecamp.ru/blog/two-proportion-z-test/

А вот тут они даже сравниваются друг с другом:
https://stats.stackexchange.com/questions/234010/2...

[Максим Припадчев]

dmshar, Ну я бы не стал. У нас заведомо в контролем сете вероятность успеха 0.

нет такого что вместе с ними есть НЕ отмененные (их нет) - это группа А (контрольная)

А одно из основных правил для выполнения ztest для двух пропорций это
np > 5 AND n(1-p) > 5
В данном случае у нас нарушение от слова совсем n*p = 0 или (1-p) = 0 в зависимости от того что мы обозначим за успех и как следствие вероятность успеха.

Фишер тест nonparametric тест, нам не нужно знать дистрибуцию популяции. И плюс нет вышеуказанного требования. Если бы не 0 в контрольном сете я бы сам использовал ztest он куда проще чем тест Фишера.

[frontjss]

Максим Припадчев, а во время проектирования дизайна эксперимента, как рассчитать размер выборки для биномиального распределения?

[Максим Припадчев]

frontjss, Вот здесь вычесление (одно из возможных) в примере используется приближенно нормальное распределение (что обычная практика для биноминальной выборки). https://www.itl.nist.gov/div898/handbook/prc/secti...

Ну и я подразумеваю что ваш комментарий-вопрос НЕ в контексте вашего основного вопроса. потому что там этого делать не нужно. Почитайте там есть расчет минимального размера для определенных интервалов уверенности и выведены формулы.

[frontjss]

Максим Припадчев, т.е можно просто взять данные из истории и посчитать сумму между:

1) (наблюдаемое1-ожидаемое)/корень из ожидаемого
2) (наблюдаемое2-ожидаемое)/корень из ожидаемого

и потом на основе полученного распределения посчитать sample size?

[frontjss]

res = pd.DataFrame(columns=['values'])
for i in range(1000):
    df = pd.DataFrame(np.random.binomial(1, 0.5, 1000), columns=['values'])
    rs = ((df.value_counts()[0]-500)/np.sqrt(500))**2 + ((df.value_counts()[1]-500)/np.sqrt(500))**2
    data = pd.DataFrame(columns=['values'], data=[rs])
    res = pd.concat([data, res])

вот какое распределение получилось:

[frontjss]

как трансформировать распределение для того чтобы посчитать z test

без np.log()

[Максим Припадчев]

frontjss, В общем грустно на это все смотреть. У вас все смешалось абсолютно.
Во первых все что вы представили это набор разрозненных метаний. В чем вопрос непонятно, Сначала спрашиваете одно потом другое тут же третье. pandas код бессмысленный, конкатенировать внутри цикла не нужно, если вы хотите произвести 1000 фреймов а потом собрать их то делается вот так.

frames = []
for i in range(1000):
    создаю frame, манипулирую
    frames.append(df)
result = pd.concat(frames)

Я вашим обучением заниматься не буду извините.

[frontjss]

Максим Припадчев, понял, спасибо)