Нужно сравнить вероятности успеха в двух биномиальных распределениях, имея некоторую выборку испытаний для обоих вариантов. Назовем вариант у которого больше выборочное среднее вариантом А, второй вариантом Б.
Pa — вероятность успеха в варианте А., Pb в варианте B. Pa>Pb обозначим как A>B.
Строим доверительные интервалы для обоих вариантов. Подбираем альфу (доверительную вероятность) так, чтобы нижняя граница доверительного интервала варианта А была строго больше верхней границы варианта Б. Получаем два независимых события с вероятность альфа. Если они оба наступают, то вероятность того, что А>Б 100%. Следовательно, вероятность А>Б не меньше альфы в квадрате.
Когда выборочные средние не равны и число успехов больше нуля в обоих случаях, то мы получаем что альфа ненулевое. Т.е. вероятность строго больше нуля.
Однако, мы не знаем как распределяется вероятность успеха среди вариантов. И мы можем подобрать такое распределение, что вероятность А>Б равна нулю. Например, вероятность успеха всегда равна 0.5. Тогда мы получаем, что вероятность того, А > B = 0. Хотя до этого мы ее оценили, как строго большую нуля.
В чем моя ошибка?
— update: Изложу на примере.
Нам нужно потестировать форму регистрации на сайте. Какой из этих вариантов лучше в плане вероятности того, что пользователь ее заполнит. Мы создаем два варианта и направляем на них трафик случайным образом. Через месяц мы смотрим что на варианте А зарегистрировалось 105 пользователей. На варианте Б 99 пользователей. На оба варианта зашло по 1000 пользователей. И считаем доверительный интервал. Подбираем параметр альфа так чтобы интервалы не пересекались. Нас конкретные значения мало интересуют главное чтобы минимум интервала А был больше максимума Б, а альфа не равна нулю.
Вариант А лежит в своем диапазоне с вероятностью альфа. Вариант Б тоже в своем диапазоне с вероятностью альфа.
Вероятность того, что что оба варианта лежат в своих диапозонах одновременно равна альфа в квадрате. Если они лежат в своих диапазонах, то вариант А 100% лучше. Т.е. вероятность что вариант А действительно лучше больше альфы в квадрате.
Допустим альфа у нас получилась 0.5. В итоге мы получаем, что вероятность того что А лучше Б как минимум 0.25.
Мы возвращаемся на сайт чтобы прекратить эксперимент и оказывается, что мы допустили глупую ошибку в коде и пользователям вместо варианта Б показывался вариант А. Т.е. два одинаковых варианта. И А=B. Хотя до этого мы получили не нулевую вероятность того, что А строго больше Б.
может я конечно не правильно понял все описанное выше, но все же. Чтобы оценить два неизвестных параметра биномиального распределения случайной величины, задаетесь уровнем альфа, выбираете статистику с помощью которой будете оценивать неизвестный параметр и строите гамма-довереьтльный интервал для обейх случайных величин. построенные интервалы и будут оценкой неизвестных параметров распределения, в конкретном случае вероятности успеха в серии независимых испытаний бернулли. откуда вы берете что у вас два события с заданной вероятностью и тем более независимы? вы пытаетесь оценить вероятности не из вашего комплекса условий вовсе.
Может я плохо объяснил.
Доверительный вариант, говорит что с вероятностью альфа значение находится в заданном промежутке. Мы выберем такую альфа, что оба интервала (для Pa или Pb) не будут пересекаться. Вероятность нахождения Pa в этом интервале = альфа. Вероятность нахождения Pb в своем интервале тоже равно альфа.
Если Pa находится в своем интервале (вероятность этого альфа) и одновременно с этим Pb находится в своем интервале(вероятность этого тоже альфа), то Pa строго больше Pb (мы выбрали альфа так чтобы интервалы не пересекались). Следовательно вероятность P(Pa>Pb)>= alfa^2.
Вероятности нахождения Pa и Pb в своем интервале независимые поскольку Pa и Pb независимые и серии опытов А и B мы производили независимо.
