С помощью какой нейросети можно машинно преобразовать аудиодорожку из англоязычного видеоролика в русскоязычную, с должным уровнем качества перевода?
С помощью какого сервиса можно машинно преобразовать аудиодорожку из англоязычного видеоролика в русскоязычную, с должным уровнем качества аудиального перевода?
Мне кажется тут такой стек задач.
1) English Voice -> Recognition -> Subtitles
2) Subtitles -> Translate -> Russian Subtitles
3) Russian Subtitles -> Voice Sythnesis -> Done!
Вобщем все эти три задачи независимые и решать их можно по отдельности.
Что здесь интересно КМК. Обычно английский спич - более компактный.
И русский синхрон будет либо как-то ускорятся чтоб зайти в хронометраж.
Или фразы будут не успевать и накладываться. Тут - великое искусство
людей переводчиков в том чтобы и в артикуляцию попадать и успевать
смысл передать.
Занимаюсь всеми тремя этапами, но включаю собственый интеллект))
Четвертый этап, это монтаж с вставками повторяющихся кадров, что бы синхронизировать русскую аудиодорожку и видео. Но при этом, на видео нет никаких лиц актеров.