Существуют ли хорошие способы распознать был ли сыгран данный аккорд на гитаре?

Question

[Дима Петрук]

Проблема такова: есть гитара и множество пар (струна, лад), которые должны быть сыграны одновременно(аккорд). И нужно real-time определять был ли сыгран тот аккорд. То есть, программе дается аппликатура аккорда и непрерывно "слушая" запись с микрофона возле гитары нужно сообщить что данный аккорд был сыгран.
Подскажите готовые алгоритмы/способы/программы/статьи для решение данной проблемы.

Answer 1

[GavriKos]

Начните с преобразования Фурье и определения частоты звука.

Comments

[Дима Петрук]

Спасибо, буду вспоминать FT)
и разве при этом частоты не будут накладываться?

Answer 2

[SeptiM]

Говорят, что это большой челлендж. Посмотрите по ключевым слова music transcription, polyphonic transcription. Статья на вскидку www.cs.berkeley.edu/~tberg/papers/nips2014.pdf

UPD. Это может пригодиться: www.cs.cornell.edu/home/kleinber/focs05-mixtures.pdf

Comments

[Дима Петрук]

Спасибо, буду разбираться в статьях(хотя не легкое это дело, разбираться в подобных статьях)
Хотя полностью распознать аккорд не нужно, только его подобность с заданым. Думаю что это упрощает задачу(?).

[SeptiM]

Не знаю. Вот, кстати, тут тоже обсуждают: stackoverflow.com/questions/4033083/guitar-chord-r...

Answer 3

[Eugene Y]

Если не требуется определять на лету, то можно неплохо распознать.
Вот тут есть библиотеки С++ mtg.upf.edu/techtransfer/technologies
Вам нужен функционал SMS Tools и/или Essentia. Последняя неделя этого курса содержит задачи из этой области: https://www.coursera.org/course/audio
В первом приближении алгоритм такой:
0 - (опционально) звук пропускается через НЧ фильтр, отсекающий шум и самые верхние обертона
1 - строится спектрограмма
2 - определяется самая нижняя нота (ее фундаментальная частота)
3 - определяются ее гармоники
4 - результаты 2 и 3 вычитаются из спектрограммы, нота заносится в список сыгранных
5 - пункты 2-4 повторяются до тех пор, когда в спектрограмме остается только несущественная информация (отрывистые компоненты с низкими амплитудами).

Comments

[Дима Петрук]

Спасибо, но нужно именно распознавание на лету.
Эти библиотеки только уже анализируют запись? или если Вы работали с подобным возможно ли добиться эффекта с задержкой не более 1-2 с?
Спасибо за ссылку на курс, выглядит весьма интересно.
Описаный Вами набросок алгоритма, как я понимаю, подходит только для анализа записи и что бы анализировать на лету не подходит?

[Eugene Y]

Дима Петрук: Даже человеку с абсолютным слухом, знающему звук инструмента, нужно примерно полсекунды :)
"На лету" - с технической точки зрения растяжимое понятие. Я думаю, что 1-2 секунды - это вполне достаточная задержка, чтобы такой алгоритм успел сработать. К тому же, его можно допилить так, чтобы он выдавал результат в процессе: отображал распознавание каждой отдельной компоненты по ходу, а в конце уже писал результат.
Чтобы делать такие вещи на лету, нужно оконное преобразование Фурье. Это не вносит никаких фундаментальных ограничений в данном случае, но может несколько усложнить получение аккуратных результатов.
Эти библиотеки могут не только анализировать, но и изменять компоненты сигнала и ресинтезировать изменения в звук.

[Дима Петрук]

Тогда есть над чем стараться, раз задержка до 2-х секунд вполне реальна, по Вашим оценкам.