@immelnikoff
Изучаю БД

Как задетекировать изменение вероятности успеха в испытаниях Бернулли?

В онлайне непрерывно происходят испытания Бернулли (показ рекламы – ипытание, клик – успех). Цель – как можно раньше задетектировать изменение (факт и величину) вероятности успеха p (CTR). p ∼ 0.001.
Вижу 2 случая (сильно упрщённых, но хотя бы с ними разобраться для начала):
1) p может меняться непрерывно и достаточно медленно;
2) p кусочно-постоянна, то есть от последнего изменения до последющего p неизменна. Про "время жизни" p нам ничего не известно.

Вопрос такой. Имеются ли какие-то уже разработанные методы для решения данной задачи?
Мои размышления относительно случая 2 такие (мне кажется, этот случай проще).
Давайте строить 2 доверетиельных интервала для p: один на показах с последнего задетектированного изменения p; второй на поседних N показах (N подбирается исходя из уровня значимости и |∆p|, который мы хотим детектировать). Но тут сразу видна проблема. Если |∆p| слишком большое, то это станет понятно задолго до N показов. Значит, нужно считать доверительные интервалы для p для последних 10, 11, ..., N испытаний. То есть доверительных интервалов у нас получается много. И вот тут возникает проблема как интерпертировать набор этих интервалов. Они могут иметь всевозможные паттерны перекрытий. И вот с этим проблема.
Из доверительных интервалов для вероятности успеха думаю использовать Wilson Score interval. Его рекомендуют использовать в этой статье – Confidence Intervals for the Binomial Proportion: ....
  • Вопрос задан
  • 693 просмотра
Решения вопроса 1
Maksim_64
@Maksim_64
Data Analyst
Если одним словом то тестирование гипотез:
Например Cumulative Sum (CUSUM) Control Charts.
1. https://www.ncss.com/wp-content/themes/ncss/pdf/Pr...

2. https://www.osti.gov/servlets/purl/1374023 (с vpn)

3. https://en.wikipedia.org/wiki/Sequential_probabili...

4. Чего нибудь байесовое обязательно тоже имеется (погуглить)
5. Огромное семейство Likelihood тестов тоже подойдет, p-это всего лишь параметр (погуглить).

Будешь работать с CUSUM (это моя рекомендация для решения проблемы) там тоже тест статистика для кумулативный суммы и т.д. В конечном счете все сводится к тестированию гипотез.
Ответ написан
Пригласить эксперта
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы