UDP:
Рекомендую использовать
Web RTC, если вам не нужен архив с завершенными эфирами то можно сэкономить ресурсы сервера.
PeerJS облегчит вам задачу. А в статье
Видеозвонок в браузере на PeerJS. Быстрый старт на Хабре вы можете увидеть пример использования