Как реализовать видеосвязь через браузер с распознаванием речи одного из собеседника?

Question

[Самир Курбанов]

Здравствуйте аудитория Тостера! Укажите пожалуйста путь, дайте напутствие, рекомендации, советы по реализации видео-связи через браузер между двумя пользователями и параллельному распознаванию речи одного из собеседника (и преобразование его в текст (Google Speech API или Yandex SpeechKit)) ? короче если: мне нужна видеосвязь с субтитрами)
В процессе раскопок в инете нашел следующее:

• библиотеки sip.js, jsSIP, PeerJS
  
• сплетни о необходимости использования Stun/Turn серверов
  

в общем документации о реализации видеосвязи полно.
Мне же нужна помощь в выборе технологии, библиотеки, концепции создания видеосвязи в браузере с одновременным распознаванием речи.
Как возможно отделить аудио от видео, чтобы его потом по API передавать в сервис распознавания

Comments

[АртемЪ]

параллельному распознаванию речи одного из собеседника

Нужно распознать речь человека сидящего в собеседнике?

[Самир Курбанов]

АртемЪ, Нужно распознать речь одного из говорящего по видеосвязи.

Answer 1

[Александр Скуснов]

У Microsoft были библиотеки DirectShow и Media Foundation по работе с аудио и видео (интерфейсы реализуют граф), но я не припомню сетевого входа и документации последних лет.
Вот книги:
1) Mark D. Pesce. Programming MS DirectShow for digital video and television
2) Turcan, Wasson. Fundamentals of Audio and Video Programming for Games
3) Anton Poligner. Developing MS Media Foundation Applications