Как устроент autotune?

Question

[Robotex]

Много раз видел приложения, которые авоматически подстраивают пропетое в микрофон таким образом, чтобы голос попадал в ноты. Каким образом они устроены? Какие алгоритмы положены в их основу?

Answer 1

[merlin-vrn]

1. Гейт
Определяет, есть ли сигнал на входе. Обычно адаптивный. Если сигнала нет, логика анализа и изменения не срабатывает, сигнал со входа просто задерживается на алгоритмическую задержку (едицицы-десятки мс) и копируется на выход.

2. Анализ
Достаточно просто. FFT, разделяются тоновые части (гармоники связок) и форманты. Анализируется частота тона гармонической части.
Вычисляется, как нужно изменить эту частоту. (Здесь может быть несколько подходов.)

3. Операции
Тоновая часть смещается. Форманты остаются. Потом всё это собирается заново

Весь алгоритм даёт некоторую задержку, размер которой связан с размером окна FFT. Делают и перекрытие окон. В общем, задержка обычно больше окна раза в два.

Режимы функционирования такие:
— Автоматическая подтяжка, когда частота заменяется на частоту ближайшего точного тона. Например, если у вас звук на 1/8 выше ноты «До» первой октавы — его опустят до точного совпадения с этой нотой
— Подтяжка «по подсказке» (guided, midi mode). В программу посылают звук и MIDI-поток нот, к которым всё и притягивается. Так можно петь даже монотонно, а программа сделает из этого мелодию.
— Можно просто добавить копию «на три полутона выше». Вокалист поёт один, а звучит как «с подпевкой».
— Можно сделать и так: вы поёте один, а на MIDI-клавиатуре держите аккорд. Все ноты аккорда посылаются в программу. При этом запускается несколько процессов операции, а результат суммируется. Получается, что вы поёте хором сам с собой этот аккорд. При должном использовании результат завораживает.

Вообще этот подход — формантный синтез — применяется для искажения звука (вокодер), но поскольку в данном случае мы берём натуральный голос и форманты оставляем, то звук получается тоже больше похож на натуральный.

Как-то так.

Comments

[merlin-vrn]

Да, забыл: когда вокалист реально поёт, переходы между частотами нот получаются короткие, но всё же плавные. Он не сразу перескакивает с одной на другую, а делает этакое короткое глиссандо. Также, голос всегда немного (иногда много) вибрирует, «гуляет» около некоторого центрального тона.

Если тон менять резко, звучит неестественно. Если тон будет очень стабильным, тоже звучит странно (у меня первая ассоциация — монотонная сирена).

Поэтому у нормального тюнера есть временные параметры (точно так же, как у динамического процессора), т.е. сдвиг между целевым тоном и реальным будет меняться постепенно; также часто подтягивают не «до конца», а оставляют небольшую ошибку, чтобы сохранить естественность.

Вообще стоит поиграться с gsnap из набора gvst (бесплатные фильтры, в linux отлично работают с fst). Он рисует графики «как было», «как стало», поддерживает два режима (автомат и midi), причём можно задать тональность для авторежима, при этом он в тональности ля-минор никогда не подтянет ноту до до-диеза — в тональности её нет, поэтому получится либо «до», либо «ре».

Answer 2

[mydoom]

Как-то задумывался над этим вопросом, загуглить не удосужился, поэтому говорю от балды, если не прав — поправьте, пожалуйста.
Алгоритм примерно такой — берем запись, отсекаем фон, чтобы оставить только голос, дальше — преобразование Фурье, и гармоники, из которых голос состоит, подтягиваем до нужных частот, которые соответствуют ступеням звукоряда, которые хотим получить.

Comments

[track]

Да, только за вычетом первой части, фон не отсекается, потому что фона нет. Автотюн включается в тот канал, в котором микрофон (или иной источник фальшака) и больше ничего. Потом идущий в нем сигнал в реалтайме автоматически подтягивается к частоте ближайшей точной ноты.

[Robotex]

А по какому алгоритму производится подтяжка?

[65520]

Обычно в композиции используются не все 12 полутонов (те самые 7 нот + альтерация), а существенно меньше. В пентатонике, например, будет использоваться всего 5 нот. Соответственно, алгоритм подтягивает к ближайшей из этих пяти. Если петь совсем коряво, то автотюнер не поможет. Тональность композиции обычно задаётся в настройках приложения.

[Daemon_Hell]

Некоторым автотюнам можно по миди показывать куда тянуть.

[merlin-vrn]

Некоторым можно и аккорды давать, чтобы самому с собой хором петь

[Eugene]

здорово