Как средствами javascript распознать тревожный плач и крик в режиме реального времени?

Question

[h0x0d9]

Добрый день, сообщество!
Стоит задача распознать во входном аудио-потоке тревожные крики и плач.
Приложение на android и ios. Стэк: react-native.
С чего начинать копать, куда дальше двигаться. Может быть уже есть около-готовые решения.
Задача для меня новая, перекопал гитхаб и duck.go, но пока в голове каша.

Comments

[Kovalsky]

https://github.com/giulbia/baby_cry_detection

[MSAFT]

Связать по апи своё приложение с бэком на питоне.

Готовых решений на JS вряд ли найдёте.

Answer 1

[Сергей Соколов]

Я бы разбил по шагам:

1. найти/создать решение, которое успешно справится с задачей распознавания. Скорее всего это будет какая-то модель машинного обучения, возможно, на TensorFlow.
   
2. впихнуть обученную модель в моб. приложение.
   
   

Возможно, постоянный мониторинг потока звука будет быстро есть заряд аккумулятора.

Answer 2

[Kovalsky]

Я не в теме, но вот есть походу проект который вам нужен - https://github.com/giulbia/baby_cry_detection

Answer 3

[Рональд Макдональд]

Как вариант, записывать часть звука и сравнивать сонограмму с шаблоном сонограммы детского плача. Но на вашей любимой JS-очке такое вы вряд ли сделаете. Так что:
Забыть про js, выучить выш. мат и идти в ИИ. (с) Владимир