Классификация участков последовательностей с помощью RNN/LSTM?

Question

[Андрей]

Имеются данные с сенсоров в виде последовательности (физические упражнения). Повтор каждого упражнения отмечен границами. Каждый повтор имеет разную длину от 0,4 сек до 15 сек и выше (нельзя привязаться к фиксированной длине).

Как посчитать количество повторов действия с помощью LSTM классификации?
Просто классифицировать какой действие в данный момент происходит - получается с вероятностью 92%. Но задача именно в том, чтобы найти сколько раз было выполнено упражнение.
Насколько понимаю, задача схожа с распознанием речи.

Answer 1

[Владимир Олохтонов]

Нельзя просто по минимумам посчитать? У вас границы упражнения совпадают с минимумами функций, похоже.
Если вы приделаете сюда нейронку, то у вас появится еще одна проблема :)

Comments

[Андрей]

Владимир Олохтонов Это только частный пример, много так же упражнений, которые имеют границы не на минимуме/максимуме

[Андрей]

Владимир Олохтонов а вообще, классификация через LSTM это не главное условие. Важно вообще посчитать количество упражнений

[Владимир Олохтонов]

А вы конечный список упражнений хотите считать или произвольные? Здесь так-то тоже структура видна, достаточно эти самые пики посчитать, которые у вас левее границы упражнения.

[Андрей]

Владимир Олохтонов: за 1 час например, человек может просто походить, выполнить упражнени1, отдохнуть, затем упражнени2 и т.д. и в итоге мы получаем последовательность.
Поэтому нам нужно посчитать те упражнения, которые он делал.
Если человек махнет рукой, то на графике тоже увидим пики. Поэтому считать по min/max не подходит.

[Владимир Олохтонов]

Я бы разложил задачу на части:

1. Находим начало ритмичных изменений
   
2. Вычленяем повторяющийся шаблон
   
3. Считаем число повторений до тех пор, пока шаблон не перестанет повторяться
   

Answer 2

[Вячеслав Шиндин]

А обязательно это делать с помощью RNN или LSTM?
У свёрточных нейронок ведь есть возможность обучать сами паттерны(свёртки), т.е. как раз те штуки, которые зажигают выходной нейрон, когда паттерн максимально коррелирует с данными под ним. Можно просто считать кол-во зажиганий свёрточного нейрона, тем самым определять кол-во повторов.

Comments

[Андрей]

Вячеслав Шиндин да, но вопрос в том как подать последовательность (в виде записи тренировки) в CNN?