Как определить, кто говорит на данный момент?

Question

[amiznikov]

Всем привет, такой вопрос. Есть конференция, где люди говорят между собой, нужно как-то определять, кто активный говорящий на данный момент. Получить данные - не проблема, проблема в вычислении. Т.е. тут множество вариаций: один может постоянно говорить громко, один постоянно говорить тихо, что следует, что среднее вычисление тут не совсем подходит. Данные получаю каждые n мс, могу менять период. Всем заранее спасибо.

Comments

[Сергей Соколов]

какие данные получаете?
Чем снимается звук: моно микрофоном, стерефо, квадро, у каждого спикера индивидуальный микрофон?

[amiznikov]

Сергей Соколов, тут не стоит углубляться, я получаю audioLevel из статы по вебртц, там просто значения от 0 до 1

[profesor08]

Если в конференции люди между собой говорят, то вероятно у каждого свой микрофон, а раз получить данные не проблема, то можно получить и источник звука, а там уже сопоставить id источника с id говорящего. Никакой обработкой звука тут и пахнуть не должно.

[xmoonlight]

profesor08,

то вероятно

Вот в чём СОК! )

[Роман]

profesor08, насколько я понял, источником звука является MediaStreamAudioSource. Если это так, то как вы предлагаете, без обработки передавать аудиопоток? Транслировать все подряд? Намного логичнее на мой взгляд все таки произвести предобработку потока, чтобы исключить трансляцию от клиента в моменты когда он (клиент) молчит. Разве нет?

[xmoonlight]

Роман, он имел ввиду сигнализацию на управление потоком (кмк).

[Роман]

xmoonlight, если честно, то не понял о чем речь. Что такое кмк?

[xmoonlight]

Роман, когда жмут "говорить" JS запрашивает поток с сервера.
при отдаче потока - фиксируем id потока и id юзера.
кмк = как мне кажется

[Роман]

xmoonlight, ну если так, то да. Имея программный аналог тангенты обрабатывать звук нет нужды, согласен.

[profesor08]

Роман, автор вопроса комментариев не дает, видимо слился, что тут еще обсуждать?

[xmoonlight]

profesor08, какие тут комментарии? нет у него сигналки) Есть только "лягушка" на столе)

[Роман]

xmoonlight, profesor08, только сейчас дошло, что у автора скорее всего не вэб реализация аудио/видео конференции а аппаратная, по типу тех что ставят в конференц залах)))
Если это так, то вариант profesor08 на мой взгляд оптимален.

[xmoonlight]

Роман, у "лягушки" нет выделенных микрофонов для каждого участника конференции. Там несколько микрофонов по кругу (3 обычно) и она ставится в центр стола (или в ряд через 1,5-2 метра, если стол в переговорке/конференц-зале длинный).

[Роман]

xmoonlight, в таком случае действительно остаеться только идентификация участников по голосу.

[Роман]

xmoonlight, хотя вру. В моей организации (мо рф) такие проблемы решают просто и в лоб, с помощью оператора)))

[xmoonlight]

Роман, всё как обычно... через *опу человеческий фактор... :(

[Роман]

xmoonlight, так и есть ))))

[Роман]

Идеальным вариантом для вас будет использовать Voice Activity Detection

ЗЫ: сам я этот вопрос так и не победил. У скриптовых ЯП на момент написания этого поста просто нехватало быстродействия)))

ЗЫЗЫ: вот чутка погуглил и нашел такую либу:
https://www.npmjs.com/package/voice-activity-detection
https://github.com/kdavis-mozilla/vad.js/tree/master

Ну и на коленке сделал рабочий пример. Перейдите во вкладку Result, разрешите временный доступ к микрофону, подождите пару секунд и начинайте говорить.

Answer 1

[xmoonlight]

1. Для начала нужно выписать все критерии потока данных, которые Вы можете получить для одного участника (это могут быть не только аудио-данные!).
2. Сформировать модель для каждого из участников на основе этих критериев (pre-learn).
3. Сформировать хеш по модели (hashing).
4. Искать такой хеш в потоке (поток->хеш==хеш->участник) и возвращать участника по хешу (analyze).

Это будет работать, даже если несколько будут говорить одновременно!

Answer 2

[sim3x]

Взять хороший направленный микрофон
Тот кто говорит в него - главный

Взять переносной микрофон - в него говорит оппонент