Как обработать аудио перед подачей в нейросеть?

Question

[Stepan Sidorov]

Я пишу нейросеть по распознаванию звуков (учусь).
Звуковые фрагменты в районе от 0,5 секунд до 3 секунд.
Как разделять звук я разобрался, просто делю фрагменты на ровные части (уже сделал), он у меня примерно 0,1 секунды длится.
Но вот как его достойно обработать перед тем как подать в нейросеть я не знаю. В сыром виде не получается, сколько бы не было нейронов ошибка слишком большая.

Вопрос в том, как сделать различимыми близкие звуки.
Что-то типа пропустить через формулу, и звук станет более четким/масштабным/изящным(?), подходящий для нейросети.

Ссылка на статью, формула в ответе - все подойдет.

Answer 1

[Everything_is_not_so_bad]

Нужно уменьшить размерность данных путем кодирования входов, найдя качественные и количественные признаки во фреймах.

Comments

[Stepan Sidorov]

Так. И как мне найти качественные и количественные признаки во фреймах?
Если можно, расшифруйте.

[Everything_is_not_so_bad]

Stepan Sidorov,
Можете почитать в этих статьях:
https://basegroup.ru/community/articles/classification
https://basegroup.ru/community/articles/math
Что касается фреймов, так эти признаки предстоит найти самому, изучая предметную область - обработку звука.

Answer 2

[Армянское Радио]

Перегоняете в частотную область (читать про FFT), режете полученный спектр на полоски, интенсивности в каждой полоске даете на вход сети.

Расширенный вариант - делать то же, но с вейвлетами.

Comments

[Stepan Sidorov]

Спасибо.
Что такое вейвлеты?

[Армянское Радио]

Stepan Sidorov, лучше чем википедия я об этом не напишу