Рекомендую связку Xmpp + SIP.
Из того, что почитать:
xmpp.org/extensions/xep-0166.html
xmpp.org/extensions/xep-0167.html
xmpp.org/extensions/xep-0176.html
xmpp.org/extensions/xep-0177.html
9-ая глава из книги XMPP: The Definitive Guide.
А также книжки:
Internet Multimedia Communications Using SIP: A Modern Approach Including Java Practice.
SIP: Understanding the Session Initiation Protocol, Second Edition.
Библиотека Smack, для работы с XMPP на Java.
www.igniterealtime.org/projects/smack/
В ней реализован необходимый функционал для работы с аудио. Насчет видео не знаю.