Какой используется метод для обнаружения аномалии в случайной последовательности?

Question

[doitagain]

Здравствуйте. Есть случайный (нестационарный?) временной ряд с двумя переменными

271-547
25-741
644-290
188-638
311-56
961-212
"714-204“
"728-209“
“714-209“
466-"204"
275-668
528-735
948-466
203-455
848-288
317-909
449-736

Бывает возникают (выделены в кавычках) выбросы (аномалии?) в виде последовательности не сильно отличающихся чисел. Длина таких последовательностей разнообразная. Посоветуйте какие методы можно применять к обнаружению данных последовательностей. Спасибо.

Comments

[Андрей]

Я, конечно, не большой специалист, но если у вас последовательность случайная (именно случайная а не какая то другая), то никаких аномалий быть не может по определению.

[Сергей Соколов]

неслучайностью в этой задаче называете абсолютную разницу с предыдущим значением ниже некого порога?
Почему из пары 961-212 не включили 212 в подозрительные? Близко же к следующим 204.

[Олег Петров]

Сформулируйте критерии аномальности

[Владимир Олохтонов]

Олег Петров, они и будут решением :)

[doitagain]

Андрей, при наложении графиков друг на друга мой глаз/мозг их руками отмечает

[doitagain]

Сергей Соколов, Да. Но и не выше некого порога. 212 "на грани" включения.

[Владимир Олохтонов]

doitagain, ну вот и попробуйте понять что именно ваш мозг делает, это будет первый шаг к ответу.

[doitagain]

Олег Петров, некоторое множество чисел большенство* элементов которого отличаются на величину из некоторого закрытого интервала рациональных чисел.

*большенство не могу сформулировать, представляется мне только "ручной подбор некоторого порога"

[doitagain]

Владимир Олохтонов, ответил Олегу Петрову

[Андрей]

doitagain, это проблема мозга. При случайной последовательности у вас одно и то же число может выйти сколько угодно раз, два числа по очереди могут выйти сколько угодно раз, любые числа могут выйти сколько угодно раз (конечно, с различной вероятностью). Это случайная последовательность, и в ней нет никаких аномалий.
Если это псевдослучайная последовательность, то это другое дело.

[doitagain]

Андрей, пока не факт, но я видимо хочу покрутить\порегулировать от некоторого сколь угодно раз до другого сколь угодно раз

[Сергей Соколов]

Какая, если есть, связь между рядом первых и вторых чисел? Можно ли их рассматривать как две независимые последовательности?

[doitagain]

Сергей Соколов, зависимые тогда, когда у обоих "достаточная интенсивность", её видимо только экспериментально подбирать

[Андрей]

doitagain, значит вы хотите сделать не случайный ряд а псевдослучайный. Убрать случайность в пользу "кажущейся" случайности.

[doitagain]

Андрей, последовательность случайная, иногда что то её делает псевдослучайной

[Сергей Соколов]

doitagain, есть объективные критерии: среднеквадратичное отклонение, медиана и прочие волшебные слова из статистики. Можно заменить ваши ряды на значения разниц соседних измерений, и работать с таким рядом.

[doitagain]

Сергей Соколов, может у меня задача обобщения, когда нет объективных критериев? Соседи не всегда плотно друг к другу.

[Сергей Соколов]

doitagain, может, k-means тогда? Только надо заранее знать, на сколько групп хотите разбить. То же самое, что вручную играть со шрифтами с пороговым значением и смотреть, что получается.

[doitagain]

Сергей Соколов, касаясь практической реализации, у меня 5 500 000 строк, один образец 800-3000 строк, образцов в среднем 10-15, как думаете разумная задача в плане вычислительных возможностей?

[Сергей Соколов]

doitagain, это небольшие данные )

Answer 1

[dmshar]

Эх, поздно увидел вопрос - не тот тег вы ему дали.
Тут уже напридумывали-насоветовали такого.... В то время, как задача у вас абсолютно классическая, хорошо изученная, описанная и даже в учебники включенная. Другое дело, что и методов ее решения много - в зависимости от особенностей данных с которыми вы работаете.
Называется то, что вы хотите сделать - "поиск аномалий во временных рядах". По этой фразе гуглится легко. Для входа в тему можно начать, например, вот отсюда:
https://dyakonov.org/2017/04/19/поиск-аномалий-ano...
или вот отсюда
https://www.datascience.com/learn-data-science/fun...
Есть и более серьезные описания. Если заинтересует - подскажу.
P.S. Забыл сказать - правильные теги для вашего вопроса - "Машинное обучение", "Data science", "Математическая статистика", "Data mining", ну, может еще с большой натяжкой - "Нейронные сети".

Answer 2

[rPman]

Без какой либо дополнительной информации у вас есть только один метод - вручную выделить данные, создав таким образом обучающую выборку для нейронной сети, и обучить ее на их основе.

В некоторых случаях эффективнее работать не с самими данными, а каком-либо вычисляемом параметре на их основе, ну в вашем случае разница между соседними значениями или придумайте что то еще, это может облегчить обучение нейронной сети а в некоторых случаях даже этого не понадобится, и вы сможете сформулировать условие самостоятельно уже на их основе.

Comments

[doitagain]

Сеть по распознаванию рукописных цифр может быть аналогом? У меня выборки разной длины.

[rPman]

да, если у вас классификатор, просто в данном случае у вас будет два выхода.

В принципе никто не мешает делать сеть с одним выходом - значение которого 0 - нормальные данные и 1 плохие, особенно если вы сделаете наберете не бинарную обучающую выборку а как набор оценок, является ли подпоследовательность чисел нерегулярной (количество чисел в последовательности, подаваемых на вход - максимальная длина нерегулярной последовательности и плюс еще сколько то чисел, которых вам достаточно для определения что последовательность регулярная.

[doitagain]

rPman,

271-547-0
25-741-0
644-290-0
188-638-0
311-56-0
961-212-0
"714-204“-1
"728-209“-1
“714-209“-1
466-"204"-1
275-668-0
528-735-0
948-466-0
203-455-0
848-288-0
317-909-0
449-736-0

Два входа, один бинарный выход, как понимаю?

Максимальная длина нерегулярной последовательности есть количество нейронов в слое?

[rPman]

upd, я мог неверно понять вашу задачу, что значит нерегулярность, я исхожу из предположения что вы имеете в виду отношение каждого следующего числа или группы к предыдущим, т.е. если так то вход - группа ваших пар, если нет, да - достаточно пары чисел и выход - одно число.

Нет, нейронные сети-классификаторы, без памяти, на вход должны подавать всю достаточную информацию по принятию решения, в вашем случае кусок последовательности (числа в том порядке что идут в ваших данных) длиной, как описал выше в комментарии. Существуют другие, с памятью, но с ними чуть сложнее и я этот вопрос не изучал.

Количество нейронов в слое и количество самих слоев определяются эмпирически из сложности задачи, возможно последовательным их увеличением (делаем маленькую, пытаемся обучить за время икс, увеличиваем размер сети, снова пытаемся, сравниваем результат... проявите изобретательность, еще рекомендуют другими способами первый слой сделать нейронной сетью, которая сама пытается выделить группы классов исключительно на основе входных данных, а затем подсунув ее в вашу новую сеть в качестве первого слоя, попробовать обучить на паре вход-выход).

[doitagain]

rPman, касаясь практической реализации, у меня 5 500 000 строк, один образец 800-3000 строк, образцов в среднем 10-15, как думаете разумная задача в плане вычислительных возможностей?

[rPman]

Вам никто не сможет ответить, львиная доля нагрузки идет от сложности закономерности (т.е. количества нейронов в сети), попробуйте, вдруг вам хватит сетки с парой десятков нейронов?
Никто не мешает вам подсовывать сети меньше обучающих данных, главное постарайтесь равномерно их вытаскивать из выборки.

p.s. постарайтесь запускать обучение на видеокартах (выбирайте соответствующие фреймворки), они дают до 10х прироста к скорости. Когда речь идет об изображениях, это сотни тысяч и миллионы нейронов, там без кластера видеокарт грустное занятие, на один шаг обучения (а их нужны тысячи и десятки тысяч в лучшем случае) обычный игровой компьютер думает десятки секунд.