Какие есть сервисы для «вытягивания» слов из аудио и видео файлов?

Question

[Влад Лещ]

Доброе утро!
Подскажите, пожалуйста, какие есть онлайн-сервисы (а может и оффлайн-программы для Windows), где можно закинуть аудио или видеофайл (например, песню на иностранном языке) - а оно тебе выдаст текст этой песни? Есть таковые? Я так понимаю, это основано на ИИ.

Comments

[Telcontar]

Рекомендую в случае с песнями сначала разделить вокал от музыки. Есть бесплатные сервисы типа vocalremover.org

Answer 1

[Пума Тайланд]

мне Whisper от OpenAI нормально работал — оффлайн, бесплатно, поддерживает кучу языков. Под виндой есть обёртки типа Whisper Batch Transcriber: кидаешь файл, получаешь текст. Из онлайн — Писец (pisec.app).

p.s. с песнями точность всегда хуже чем с обычной речью, сам замечал

Answer 2

[SunTechnik]

В Google вбиваем: "расшифровка аудио в текст"
Далее читаем, пробуем.

Ну или вот обзор:
https://habr.com/ru/companies/bothub/articles/979320/

Но расшифровывать песню сложнее, чем нормальный текст, так как ради мелодии как только над словами не изголяются.
Если известен автор произведения - проще найти в интернете готовую текстовку.

Answer 3

[rPman]

Для музыки, сначала нужно ее сепарировать, отделить вокал от инструментов, сам я этим не занимался, из последних топовых решений есть это:
https://github.com/lucidrains/BS-RoFormer

Если погуглить, есть какой то gui для чуть по старее решений, там на выбор несколько моделей, в т.ч. удаляющих шумы.
https://github.com/Anjok07/ultimatevocalremovergui

А уже потом полученный чистый файл подсовывать whisper, он работает прямо сразу после установки из pip install (скачает указанную модель сам).
whisper лучший для русского языка из доступных локально, но помним что он может пропускать и придумывать тексты (классический пример, в конце субтитров добавляет выдуманного автора)

Comments

[Влад Лещ]

Мне для "казахский - русский" нужно в 90% случаев.

[rPman]

ну поддержка заявлена