Насколько сложно написать систему подсчета количества однотипных действий человека на видео?

Question

[Александр]

Есть база коротких видео продолжительностью около 3 минут (180000 шт.) где люди делают однотипные действия, например приседания, для каждого видео известно количество действий.
Насколько сложно и сколько бы могла стоить разработка системы, которая в автоматическом режиме смогла бы обработать видео и посчитать сколько однотипных действий совершил человек.

Comments

[Владимир Куц]

Действия-то однотипные, но обстановка и люди, условия съемки могут быть разнотипными я так понимаю?
Соотвественно сложность будет расти.

[Александр]

Владимир Куц, да, видео записаны в основном на телефон, соответственно условия съемки не самые лучшие.

[Владимир Куц]

На данный момент сложно оценить. Мало исходных данных.
Возможно если человек просто приседает в кадре - то в последовательности кадров будет заметна цикличность смены яркости либо циклическое изменение объема пикселей определенного оттенка - привязаться к ним - возможно этого будет достаточно для подсчета пиков изменения.
Если условия более сложны - шевеление на заднем фоне, смена точек съемки, посторонние движущиеся предметы или люди в кадре, человек начинает выполнять другие действия - вместо приседаний начинает махать руками к примеру - и т.п. которые смазывают общую цикличность - то как-то разбивать на кадры, каким-то образом нормализовать изображения, учить нейронные сети - сложность разработки возрастет на многие порядки.

Answer 1

[Philipp]

https://www.youtube.com/watch?v=pW6nZXeWlGM

Answer 2

[Александр Таратин]

{бредовый способ}
Если действия так или иначе заставляют человека совершать движения головой с достаточной амплитудой. То достаточно взять любую либу распознавания лиц на фото (позиции лиц уже давно научились достаточно точно трекать) и измерять цикличность колебаний рожи человека.
{/бредовый способ}

Answer 3

[asd111]

Можно попробовать взять обычный классификатор изображений натренированный на imagenet, который может по картинке сказать что там, например определить приседание или что человек стоит и т.п.
Потом разбить видео на кадры и проверить каждый кадр через этот классификатор. Потом посчитать результаты классификатора.
Например гугл определяет эту картинку как "статические приседания".

Попробуйте сделать скриншот видео и залить на гугл, если гугл определяет что происходит на картинке, то способ который я описал может сработать.

По поводу цены спросите на ods.ai там же можно поискать исполнителей. Это российское сообщество специалистов по ai и среди них есть те кто занимал высокие места на kaggle.

Answer 4

[Александр Попов]

Я может полный бред сейчас напишу, но возможно, есть математические методы, как определить скелеты людей на видео (начать с поиска контрастных областей, отделив людей от фона, а потом попытаться построить векторы конечностей), и задать приседания как определённые движения скелета человека в пространстве? В конце девяностых так распознавали порнографию на видео, была очень хорошая точность. Про это есть даже статья на Хабре. Имхо, это получится проще, быстрее в разработке, чем нейросеть с её обучением, а главное - не потребует огромную базу образцов для обучения находить.

Answer 5

[Andrey Dugin]

Самая простая гипотеза, которую я бы проверил в первую очередь - вычисление пульсации средней яркости и/или цвета. Для простоты можно уменьшить размер кадра и даже дополнительно размыть изображение. Тогда никакие нейронки не требуются.

Comments

[Александр Попов]

Боюсь, при таком подходе как минимум будет не отличить приседания от наклонов вперёд. Автору не любые движения надо считать, а конкретные... :)

[Andrey Dugin]

Александр Попов, автор нигде не говорил, что нужно распознавать вид движения. Насколько я понял, одно видео заведомо содержит только один вид движений.

[Александр]

В том то и дело, что движения могут быть разные. Нужна такая система, которая в будущем, сможет определить конкретное движение, приседание, отжимание, прыжок.

[Andrey Dugin]

Александр, тогда переформулируйте вопрос более точно. Так и напишите, что в одном видео могут содержаться разные типы действий (например, приседания + отжимания + прыжки), при этом для каждого видео известно количество (для каждого типа упражнения из видео или для всех в сумме?).