Какой API выбрать для распознавания речи в фильмах?

Question

[vikholodov]

В общем, пока знания моего английского оставляют желать лучшего пришла в голову идея на лету переводить видеоролики с помощью api распознавания речи и api переводчика. Нужен самый умный сервис, который сможет распознавать речь с примесью посторонних звуков (музыки, шума толпы, улицы и т.д.)
Доросли ли технологии до такого или я чет замахнулся?)

Answer 1

[Александр Аксентьев]

Автоматические субтитры на ютубе явно показывают что даже обычную речь(без шумов особых от говорящих блогеров) английскую достаточно сильно надо корректировать после распознавания.

А апи например яндекса годится в основном для односложных запросов например при навигации по телефонному голосовому меню, для чего собственно и используют такие апи. Т.е. распознавание на уровне да, нет, цифры.
Ну или заточенные системы под что-то конкретно типа адресов, где можно провести неточный поиск.

Субтитры для слабаков чтоль?

Comments

[vikholodov]

Где-то читал новость об устройстве - микронаушнике, которое позволяет на лету переводить речь собеседника и тут же озвучивает ее перевод. Мол, какая-то суперумная нейронная сеть. Про субтитры ютуб я вас услышал, но какие еще есть варианты?

[Александр Аксентьев]

vikholodov,

Где-то читал новость об устройстве - микронаушнике, которое позволяет на лету переводить речь собеседника и тут же озвучивает ее перевод

на хабре/гиктаймсе была статья про то как чувак проходил собеседование таким образом в контору где нужен был хороший английский. Его конечно не взяли, хотя часть собеседования на английском вроде даже не "завалил". Без всяких нейросетей, обычный гугл транслейт прикрутил с голосовым вводом и озвучиванием переведенного.

[vikholodov]

Александр Аксентьев, https://lifehacker.ru/2016/05/29/pilot/

[Александр Аксентьев]

vikholodov, так и не нашел нормальных тестов для них.

Отзывы не очень, несмотря на среднюю оценку в 4 звезды.
https://play.google.com/store/apps/details?id=com....

Самая главная фича из отзывов узнаётся, чтобы это работало собеседнику нужно тоже приложение на телефон ставить или что-то такое. Короче какое-то костыльное решение и не работает как заявлено/как кажется должно работать.

[Александр Аксентьев]

vikholodov, парень из истории с хабра сам на коленке собрал устройство, не готовое использовал.

[vikholodov]

Короче борода, я так понял. Лучшее что можно найти - это ютуб субтитры. Еще не факт что их можно вытащить через апи, беглым взглядом пробежался, метода какого-то конкретного не нашел. Мне нужно тащить слова в свою базу

[Александр Аксентьев]

vikholodov, https://tech.yandex.ru/speechkit/cloud/doc/guide/c...
Как раз перечислено что умеет, 3-5 слов и конец)

Из крупных еще ЦРТ(Центр Речевых Технологий) занимается звуком со всех сторон, но там в основном телефония как раз, либо другие узконаправленные решения.
https://www.speechpro.ru/product/sistemy-upravleni...

Answer 2

[Mikhail Osher]

Еще как замахнулись. Если хотите переводить "разговорный" английский, вряд ли такое вообще возможно.
Дело в том, как они говорят. Очень много сокращений (reductions), прилично слэнга и идиом, которые тоже комкаются и распознать их можно только на слух. Разве что Вам нужен преобразователь в звуки, и на основе неких паттернов сюда примешаете какой-нибудь ML.

Answer 3

[xmoonlight]

Вопрос:

Доросли ли технологии до такого или я чет замахнулся?)

Ответ:

Доросли технологии до такого

И

я чет замахнулся

Сделать это уже реально.
Осталось найти готовое API и/или создать собственную НС и обучить.