Выделять барабаны из песни научился, а как теперь их в midi конвертнуть?

Question

[SmeliyR]

Научился из любой песни выдёргивать отдельно вокал, отдельно ударные, отдельно бас и другие инструменты - с помощью нейросетей (Spleeter называется приложение - пример тут https://www.youtube.com/watch?v=h51IhFLVcnA).

Теперь мне надо дорожку ударных конвентнуть в midi, потому что в таком виде, в каком выдаёт её Spleeter - понятное дело достаточно много слышимых на слух артефактов.

А из midi я доожку ударных заново отрендерю через любой хороший VST плагин (например Addictive Drums2).

Так вот - чем mp3 с ударными конвертнуть в midi?
Специально пишу про ударные, так как думаю что нейросетка должна быть на них заточена для нормального результата.

Comments

[Refguser]

чем mp3 с ударными конвертнуть в midi?

А нейросети что, не помогли? Тогда воспользуйся поисковыми стемами.

[SmeliyR]

Не, ну я согласен, что многие не пользуются поиском перед тем, как задать вопрос.
Но в данном случае, я пользовался поиском, и, соотвественно, ответа на данный вопрос не нашёл (ну или я ошибся при поиске - но как бы то ни было, я искал ответ).
Есть ответы на смежные вопросы - например, есть мануал, как несмиксованные, изолированые партии отдельных инструментов барабанной установки (отдельно трек бочки, рабочего, хэта и т.п.) через триггеры закинуть в миди - но думаю, из вопроса моего понятно, что я не об отдельных треках, а о смиксованной дорожке говорю.
Поэтому и решил спросить, кто каким опытом обладает в данной теме?

Answer 1

[alexalexes]

midi - это, по сути, формат записи нотной партитуры, он не хранит звук.
Из какой нейронки сможете выдавить нотную партитуру, в той и сможете сохранять midi.

Answer 2

[SmeliyR]

Я об этом и справшиваю - какой нейронкой можно MP3 файл с записью барабнной партии распознать (и, соотвественно, затем сохранить в MIDI) ?
Существует ли вообще такая нейросеть или пока никто не сделал?
Та же задача например для какого нибудь пианино прекрасно решается вообще без нейронок - тот же самый melodyne вполне себе неплохо распознаёт пианино.

А что в этом плане насчёт распознавания смиксованных барабанных партий?

Comments

[ab1]

Какой нейронкой можно MP3 файл с записью барабанной партии распознать в MIDI

Для распознавания MP3 файлов с записью барабанной партии и преобразования их в MIDI можно использовать различные нейронные сети и инструменты. Некоторые из них включают:

Google's Magenta: Это проект Google, который использует машинное обучение для создания музыки и искусства. Он включает инструменты, такие как Drumify, который может преобразовывать аудиозаписи барабанов в MIDI-файлы.

Spleeter: Этот инструмент от Deezer разделяет аудиофайлы на отдельные треки, такие как барабаны, бас, вокал и т.д. После разделения треков вы можете использовать MIDI конвертеры для каждой дорожки.

Melody ML: Похож на Spleeter, позволяет разделить аудиозаписи на отдельные инструменты.

Onset and Frames (Onf) - Magenta's Model: Это более специализированный инструмент для конвертации барабанных записей в MIDI.

А дальше каждый проверять вручную
например
https://colab.research.google.com/github/MJVNOR/Da...