Нейросеть для перевода видео?

Question

[L1nw0od]

Подскажите нейросеть с помощью которой могу перевести видео с русского на грузинский
Но основная особенность должна быть в том чтоб я перевод мог поправить текстом и потом неросеть уже отредактированные перевод озвучила под видео!
Хейген - лимит 2 час ( это очень очень мало
Альтернатив хороших не нашел (

Answer 1

[rPman]

Для получения текста (с таймингами) из аудио потока тебе нужна транскрибация.

Установи локально whisper и получай все необходимое бесплатно (без видеокарты будет долго, но требования к видео очень низкие). Инструкции под windows (первое что нагуглил)

Кстати whisper умеет переводить на указанный язык, но качество будет очень низкое

spoiler

С переводом полученного str файла чуть сложнее, потому что качественный перевод в автоматическом режиме, особенно больших текстов, это пока еще недостижимая мечта... я пробовал писать разных агентов, собирающих информацию по тексту (например пол говорящих а так же разметка диалогов по голосам), в принципе получается терпимо, но готового комплекса пока нет.. все в полуручном режиме.

Еще момент, после того как получишь перевод, необходимо поменять тайминги у сообщений, ведь переведенные будут другой длительности. У меня были скрипты, которые озвучивали текст указанным синтезатором, в принципе реально было бы автоматически замерять длительность каждой синтезированной реплики и править тайминги.

Comments

[L1nw0od]

мне нужен вариант чтоб была транскрибация я ее смог поправить после нажимаю кнопку и он озвучивает с исправленной транскрибацией

[rPman]

да, будет доступна транскрибация в выбранном формате
--output_format {txt,vtt,srt,tsv,json,all}
это текстовые форматы

[L1nw0od]

rPman, Подскажи а есть ли что-то сервис с видеопереводом с Руссого на Грузинский? По адэкватной цене?

[rPman]

я даже не уверен, занимается ли в принципе этим кто то кроме яндекс?
перевести субтитры можно вручную покируя по немного их в гугл транслейт, но с озвучкой дело по хуже

Answer 2

[IXOM]

Решал задачу с качеством перевода длинного текста путем разделения на батчи, яндекс по API шикарно перевел.

Comments

[L1nw0od]

можешь подсказать как ты это реализовал?

Answer 3

[perezagruzi_kod1]

Прямой замены Хейгену с безлимитом нет, но вот рабочие варианты:

Rask AI (он же "Rask.ai") — именно для этой задачи. Позволяет перевести видео, править текст вручную в субтитрах и потом синтезировать голос с сохранением интонаций. Лимиты по минутам, но тарифы гибкие.

ElevenLabs + монтаж. Озвучка от ElevenLabs — одна из лучших. Можно перевести и расшифровать видео через любую нейросеть (хоть Whisper), отредактировать текст, а потом скормить его ElevenLabs для генерации голоса и подшить в видеоредакторе.

Чтобы не искать всё это вручную и сравнить по лимитам/ценам, загляни на Neuromanual.ru — там в каталоге есть фильтр по "озвучке видео" и "переводу". Сразу увидишь все актуальные варианты в одном месте.