Как правильно создать датасет голосовых команд?

Question

[Art_Sh82]

Всем привет.
Делаю систему распознавания голосовых команд на базе нейросети Tensor flow lite. Работает она на МК с ядром Cortex m4
Интересует правильный алгоритм подготовки датасета образцов произношения голосовых команд и последующего обучения. На данный момент поступал так: собирал (записывал) образцы произношения команд, приводил все файлы к одному виду и затем этим датасетом обучал сетку. Записи делались в условиях тишины. Система заработала, команды распознаются, но только в условиях тишины. Как сделать систему более толерантную к окружающему шуму?
Какой вообще правильный алгоритм создания датасета и обучения сетки? Читал, что как то подмешивают шум - добавляют файлы с записями шумов в датасет, но толковой инфы не нашел. Заранее спасибо за ответы.

Comments

[Saboteur]

Ну Кортана, Алекса, ok Google в условиях шума тоже практически не работают.
То есть IMHO это задача не такая простая, чтобы можно было найти толковую инфу по решению. Скорее если вы такое напишете, вас с рукам оторвут крупнейшие конторы мира.

А так - пробуйте частотно отрезать шум и обрабатывать звук перед распознаванием.

[Art_Sh82]

Saboteur,
возможно не совсем корректно описал вопрос.
Как правильно создавать датасет? Записывать все голосовые команды в условиях студии звукозаписи или можно в условиях реальных окружающих шумов? Или записывать команды используя ту же обработку звукового сигнала, как и для распознавания: обрезка по частоте, АРУ, шумоподавление, эхоподавление.

Answer 1

[vanyamba-electronics]

Проиллюстрирую проблему на распознавании образов.
Допустим, имеется нейросеть, которая распознаёт нарисованный крестик. Есть две палочки - нейрон срабатывает. Палочки пересекаются - ещё один нейрон срабатывает. Два нейрона сработали - появился "есть крестик" на выходе.
Теперь добавим шум - три палочки вместо двух. Как должна повести себя нейросеть в данном случае? Теоретически, если палочки пересекаются, то крестик как бы есть, но так мы получим ложное срабатывание, например, если на картинке не крестик, а буква Н.
В некоторых случаях, важно определить наличие крестика как абстракта, но что, если эта фигура задаёт пароль? Тогда ложное срабатывание недопустимо - система не должна открывать доступ и при крестике, и при Н.
Так же и в данном случае. Нужно отфильтровать шум по амплитуде, а затем уже распознавать команду. Если команда не распознана, потому что например двое в этот момент беседуют, то команда не распознана. Иначе будет ложное срабатывание, и система будет своим вниманием мешать разговаривать в её присутствии.
Можно сделать систему умнее - распознавать разные шумы. Допустим, подана команда, и при этом едет автомобиль - это один случай. Или подана команда, и при этом плачет ребёнок - это другой случай.
Такая система обещает работать гораздо лучше, но таких случаев может быть довольно много. Хватит ли возможностей микроконтроллера - вот вопрос.