Какой алгоритм может определить аномалии на графике?

Question

[The Whiz]

У меня есть данные по визитам на ряд страниц сайта, в течении последних 30 дней. Выглядит как-то так:

Страница 1: [1,2,0,4,6,1,7,4,7]
Страница 2: [3,4,12,1,7,1,2,0]

Таких страниц очень много. Мне необходимо вычленить страницы, которые испытывали необычный приток либо отток пользователей, в любой момент времени. Какой алгоритм или последовательность алгоритмов подойдет для этой задачи лучше всего?

UPD: пока смотрю на алгоритм машинного обучения anomalies detection, но возможно есть вариант побыстрее, например (мысли вслух) можно разбивать массивы данных на несколько равных частей и сравнивать их процентные колебания. Если все в пределах 0, тогда можно считать что аномалий нет, если где-то скачок - значит что-то пошло не так. Скорее всего, так и буду делать.

Comments

[Алексей Макареня]

А цифры в списках, это что?

[The Whiz]

Алексей Макареня, визиты (сессии) - см первое предложение

Answer 1

[d'Ivan]

Можно высчитывать дисперсию в некотором промежутке времени (окно) и если значение выходит за пределы среднего +/- 3σ, то, возможно, это аномалия.
https://www.slideshare.net/YoshihiroIwanaga/anomal...
https://stackoverflow.com/questions/2303510/recomm...

Answer 2

[Евгений Панин]

Такой подход ничего не даст.
Изучи когортный анализ и Lean-метрики. Их еще называют AAARR.

Comments

[The Whiz]

Обучение на аномалиях сработает отлично.

Answer 3

[dmshar]

Можно, конечно, заняться изобретением велосипеда. А можно набраться ума-разума, начав с теории. Тем более - она вам в жизни пригодится, т.к. ту задачу которую вы описали встречается в разных видах в экономике, информационной безопасности, медицине, технической диагностике, маркетинге - в том числе и аномалии посещения страниц, типа ваших - и еще в десятках других предметных областей, и изучив эту задачу вы обеспечите реальную заинтересованность в вас как специалиста десятков работодателей в будущем.
Теория эта называется действительно по разному - "поиск и выявления аномалий", "changepoint detection", "обнаружение разладок и выбросов" и пр. В первом приближении все сводится к анализу временнЫх рядов и методам классификации, и обнаружении изменения моделей, которыми данные описываются ( "превышение уставок", выход за 3сигма и пр. - это только самые тривиальные и наивные из методов, которые сегодня применяются. Только, конечно не "процентные колебания"). Причем, если хотите все сделать по-серьезному, то надо изучать и параметры самих рядов (не только среднюю и дисперсию), проверять коррелированность посещения страниц сайтов, выявлять тренды и сезонность, проверять наличие кластеризации в данных и пр. пр.пр.
Ну а можно, конечно, и "побыстрее", лишь бы что-то там квазиумное считало. Зато есть что заказчику показать. Тогда да - посчитали среднее, наши отклонения, нарисовали красивый график, впечатлили заказчика, получили вознаграждения, профит. Каждый выбирает свой путь.

Comments

[Нурлан]

The Whiz, нет, прекрасные тут вы. Вы спросили "Какой алгоритм может определить аномалии на графике", вам ответили. Но на самом деле, вы хотели "Сделайте за меня". Вот поэтому вам и stackoverflow понравился, не потому что они дали вам ответ, а потому что сделали за вас, что вы как раз и подчеркиваете. А потом появляются люди, которые после подобных ответов создают вопросы через неделю-две и спрашивают почему оно работает не так, как хотелось и как его настроить.

[dmshar]

Нурлан@daager, Увы, тут автор вопроса - The Whiz - тихонечко удалил свой комментарий, на который вы весьма точно ответили. Поэтому ваш комментарий как бы "повис в воздухе". Не думаю, что такой ход The Whiz этический корректен, но у каждого свое представление об этом.

Answer 4

[Нурлан]

Обнаружение аномалий в данных сетевого мониторинга... - теория, названия алгоритмов, полезные ссылки