Существует ли рабочий алгоритм для оценки произношения английских слов?

Question

[Андрей]

Суть вопроса вот в чем. Предположим, у нас есть звуковой файл с эталонным произношением английского слова. Требуется сравнить произношение человека, который английский изучает с эти эталоном и отразить результат в какой-то шкале. Первое что приходит на ум нормировать сигнал и просто сравнить всю выборку «в лоб». Еще можно частоты проанализировать. Может быть у кого-то есть мысли как это правильно организовать? Спасибо.

Answer 1

[Григорий Тумаков]

Год назад купил диск, так там программа стояла, которая определяла твое произношение и «сравнивала» с идеальным. Через раз у меня удавалось правильно произносить фразы, потом я отнес преподу по англ в институте и показал работу. Спустя 10 минут мы были уверены, что программу писали программисты по объявлению.
В качестве альтернативы могу привести голосовой поиск от гугл. Правильно произнес — гугл правильно записал, но и с этим можно поспорить…

Comments

[Андрей]

Да, такой софт есть, но интересует именно алгоритм

[yourich]

Могу посоветовать алгоритм DTW для сравнения «эталонной» записи и «тестовой». Но тут возникает несколько проблем:
1) Для корректного сравнения необходимо иметь информативные признаки. Могу посоветовать использовать в качестве таких признаков MFCC, возможно, вместе с их первыми и вторыми производными. Реализация алгоритма построения MFCC существует в открытом доступе (например, SPro для C++, либо VOICEBOX для MatLab).
2) При сравнении алгоритмом DTW получаемые оценки будут варьироваться в зависимости от длительности эталонной и тестовой записи. Таким образом, необходимо придумать механизм нормализации оценки на длину фразы.
3) Также оценки будут варьироваться в зависимости от голоса дикторов (мужской или женский). Есть смысл записывать эталонную фразу отдельно для мужского и женского голосов.
4) Целесообразно в качестве эталона брать не одну запись, а несколько записей разных дикторов. Тогда, в качестве эталонной последовательности признаков можно брать, к примеру, средние значения коэффициентов MFCC всех эталонных записей.
5) Возможно, также будет необходимо решить вопрос с автоматическим удалением неречевых участков записей. Здесь существует множество подходов, наиболее простой — использовать отсечение по уровню энергии сигнала.

[Андрей]

Возникает вопрос — если использовать DTW, надо ли обрабатывать исходный сигнал (нормализовать и т.д.)
И можно ли в DTW использовать, например коэффициенты Фурье, а не сами отчеты? Будет ли эффективным одновременно исследовать и Фурье и сами отчеты?

[yourich]

Конечно надо обрабатывать исходный сигнал. Я же написал, что можно строить MFCC в качестве признаков. MFCC по сути представляют из себя результат пропускания исходного сигнала через набор частотных фильтров. Обычно коэффициенты MFCC строятся для каждого окна длительностью 20 мс с шагом 10 мс. К примеру, для записи длиной 10 секунд у вас получится около 1000 наборов коэффициентов MFCC. А сами по себе «сырые» отсчеты едва ли можно эффективно анализировать.

[Андрей]

Спасибо за инфу! Я просто читал, что некоторые непосредственно с сырыми данными работают или их спектром