Как сделать алгоритм распознавания музыки?

Question

[Neo01]

Хочу сделать мобильное приложение для распознавания музыки (для викторин по муз.литре в музыкалке). Самое трудное что нужно сделать - алгоритм разпознавания музыки

Что нужно знать и уметь для реализации такого алгоритма?
Какие технологии применяются?
Из каких источников брать информацию?

Comments

[mayton2019]

Что должно быть результатом распознавания? Ритм? Мелодия? Или какие-то другие характеристики?

Надеюсь ты осознаешь что база мировой музыки даже в названиях слишком велика чтобы впихнуть
ее в мобилу.

[Saboteur]

изучаешь акустику и математику по работе с акустикой.
Алгоритмы обработки шумов, частот, высот и так далее.

[Neo01]

mayton2019, результатом распознавания должно быть:

Композитор
Название
Жанр
Направление
Автор текста
Тональность
Действие
Картина

[mayton2019]

Что такое действие и картина?

[Neo01]

mayton2019, это термины из оперы

Действие (акт) — основная и самая крупная единица в структуре оперы, включающая законченную часть ее сюжета. Нумеруется цифрами

Картина — часть оперы, которая, согласно либретто, разыгрывается в одних и тех же декорациях. Тоже нумеруются цифрами

[mayton2019]

Neo01, ты - Android разработчик или FullStack? Потому что для полноценного распознавания тебе нужен хороший внешний API.

[Виктор]

Neo01,

Композитор
Название
Жанр
Направление
Автор текста
Тональность
Действие
Картина

Боюсь, что такая широкомасштабная хотелка очень сложна в воплощении в код. Тут одному не справиться, нужна команда. Во-первых, понадобится база данных, огромнейшая, не побоюсь этого слова. Во-вторых, даже более простая задача - выделить из полного музыкального спектра любой аранжировки (а у популярных произведений их туева хуча под любые наборы музыкальных инструментов) основную музыкальную тему (буквально, ноты), по которой и будет происходить само распознавание - по-моему, неподъёмна для одного человека. Может быть, я ошибаюсь и с этим справится один высококвалифицированный кодер, но ему придётся убить на это дело не один год собственной жизни, прежде чем возникнет нечто удобоваримое.
Может, сузите задачу?

Answer 1

[alexalexes]

Что нужно знать и уметь для реализации такого алгоритма?

По алгоритмам ровно ничего, создать свой сервис для распознавания музыки - это сверхакадемический уровень (или уровень серьезного сеньора, которого оторвут с руками и возьмут на работу в youtube после того как его уведут из shazam).

Какие технологии применяются?

Для обычного разработчика применяются навыки работы с API любых сервисов, к которым можно получить доступ через авторизацию, и в которые в режиме запрос-ответ дадут искомые данные.
1. Изучаете API условного Shazam-a, куда будете отправлять образцы звуковых данных.
2. Изучаете API музыкальных библиотек, куда будете отправлять результат ответа от Shazam, чтобы получить недостающие данные.

Comments

[Сергей delphinpro]

Интересно звучит ваш ответ =)

Нужно быть сверхкрутым сеньором, умеющим находить нужные АПИ для решения задачи.

[alexalexes]

Поправил ответ.

Answer 2

[pindschik]

Если читать задачу как есть - не написать свое приложение с чужим API, а именно свой алгоритм...
Мне видится следующая схема:
1) Написание бизнес-плана, т.к. придется привлекать очень большие средства.
2) Получение первичного финансирования для изысканий.
3) Покупка сервера с несколькими видеокартами с большим объемом OЗУ.
4) Поиск и найм как минимум 2-х специалистов: музыкального теоретика, дружащего с программированием, и программиста, с опытом написания обучаемых нейросетей.
5) Даете им время на изыскания и опыты: определить какие ключевые моменты в мелодии надо анализировать и как уменьшить объем аудиоданных, сохранив только важные для распознавания характеристики. Написание и тренировка модели на относительно небольшой базе музыки, которая будет помещаться в видеопамять сервера, с учетом, что там еще и нейросеть размещена.
6) В случае успеха на пункте 5 (у вас есть модель, которая распознает входной аудиопоток по тестовой базе):
- корректируете бизнес-план с учетом масштабирования на всю музыкальную базу
- заключаете лицензионное соглашение с одним или несколькими лейблами - на получение и использование аудиоматериала.
- нанимаете команду для разработки мобильного приложения.
- арендуете датацентр с необходимыми серверными мощностями, обучаете нейросети распознаванию музыкального материала (частями), исходя из того, сколько может переварить 1 сервер.

P.S.
Ну и потом можете проводить свои викторины...

P.P.S.
Если Вы всё еще думаете, что распознавание это простой алогритм, который работает внутри телефона - попробуйте запустить Шазам отключив интернет.

Answer 3

[Dmitry Roo]

Самый лёгкий способ - искать api для решений типа шазама. Вот ещё почитать: https://habr.com/ru/articles/122969/