Какие есть бесплатные инструменты, чтобы превратить песню в текст?
Да, есть сайты, которые превращают запись голоса в текст. Есть похожие вопросы и тут на хабре. Но интересует распознавание именно песни, с языком которой не знаком,а текст не ищется
Попробовал два сайта на бесплатном периоде, песня в текст не переводится, случайный набор слов на выходе
1. Хотелось бы бесплатный вариант, офлайн или онлайн
2. Может, надо как-то очистить песню от музыки перед распознаванием? Бывают онлайн инструменты?
В теме топика нет никакой обработки звука. По сути речь идет о различных сервисах.
А обработка звука это когда ты сам пишешь код, который работает с цифровой обработкой сигналов.
Есть инструменты на нейросетках, которые разделяют песню на голос и музыку, причём весьма неплохо (хоть иногда и не без ошибок). Например, Ultimate Vocal Remover.
ThunderCat, а как пользоваться этой функцией? Люди делают субтитры прямо на видео - это то же самое? Мне этот трек нужно туда загрузить? Если загружу, могут предъявить авторское право?
ютуб умеет автоматически генерировать субтитры, остается их оттуда достать, в принципе есть хром плагины которые достают текст субтитров в текстовый файлик.
Люди делают субтитры прямо на видео - это то же самое?
Если не ошибаюсь, это фишка кап ката.
Если загружу, могут предъявить авторское право?
Хз, зависит от видео, можно попробовать загрузку с доступом только по ссылке, так в теории оно не будет публичным и жаловаться на него будет некому.
Vlad Ivanov, я экспериментировал с KaddaOK Tools, там кустарно всё очень, но общий принцип такой, что ему надо подсунуть песню аудиофайлом и отдельно текст, и он сам должен выделить там куплеты-строчки и подставить под них слова. Но работало не очень - не все строчки подогонлись адекватно (но вероятно это можно руками доработать, там ass-файл получается, который потом в aegisub можно допиливать напильником, тайминг привести в порядок самостоятельно). Ещё там интеграция с Bing в нём есть (замена скрипту), но это надо аккаунт в Bing с оплатой заводить, не пробовал. Ещё он результат работы скрипта не съедал, я грешил на проблемы точек и запятых в числах в русской локализации, но региональными настройками не смог побороть. Но вывод скрипта сам по себе может быть использован.
В целом проблема может быть глубже, если песня поётся не очень чётко или в выделенной вокальной партии много мусора.
Присмотрись к Whisper на mvsep.com . Идеальный и проверенный вариант, язык аудио - определяет сам алгоритм, никак править нельзя. Помимо текста, выдаёт SRT файл с субтитрами. Лучше зарегистрироваться, что бы очередь двигалась быстрее (сначала обрабатываются платные пользователи, потом зарегистрированные, и в самую последнюю очередь - не зареганные).
Спасибо, наконец дошли руки опробовать
Наилучший результат на этой модели на этом сайте, а с регистрацией почти и не ждал очереди
Кроме того, как я понял, такую нейросеть можно установить офлайн себе при желании
На сайте попробовал заранее отделённый вокал и исходный трек - результаты примерно одинаковые
Но увы, половина текста опять чушь. Видимо, пока автоматически распознавать никак, по крайней мере НЕанглийский текст. А может быть, качество звука низкое
Если будет интересно, могу прикрепить распознанные тексты
Средний
Простой
