В онлайне непрерывно происходят испытания Бернулли (показ рекламы – ипытание, клик – успех). Цель – как можно раньше задетектировать изменение (факт и величину) вероятности успеха p (CTR). p ∼ 0.001.
Вижу 2 случая (сильно упрщённых, но хотя бы с ними разобраться для начала):
1) p может меняться непрерывно и достаточно медленно;
2) p кусочно-постоянна, то есть от последнего изменения до последющего p неизменна. Про "время жизни" p нам ничего не известно.
Вопрос такой. Имеются ли какие-то уже разработанные методы для решения данной задачи?
Мои размышления относительно случая 2 такие (мне кажется, этот случай проще).
Давайте строить 2 доверетиельных интервала для p: один на показах с последнего задетектированного изменения p; второй на поседних N показах (N подбирается исходя из уровня значимости и |∆p|, который мы хотим детектировать). Но тут сразу видна проблема. Если |∆p| слишком большое, то это станет понятно задолго до N показов. Значит, нужно считать доверительные интервалы для p для последних 10, 11, ..., N испытаний. То есть доверительных интервалов у нас получается много. И вот тут возникает проблема как интерпертировать набор этих интервалов. Они могут иметь всевозможные паттерны перекрытий. И вот с этим проблема.
Из доверительных интервалов для вероятности успеха думаю использовать
Wilson Score interval. Его рекомендуют использовать в этой статье –
Confidence Intervals for the Binomial Proportion: ....
Простой
Средний
