а что мешает разбить функции чата и телефонии по разным сервисам? Например, FreeWITCH отвечает за телефонию, а Jabber за чат.
вот тут ещё можно поковырять: wiki.freeswitch.org/wiki/Mod_dingaling
Для групповых разговоров поднимаете где-нибудь FreeSWITCH и настраиваете на нем конференцию. Ну и ещё понадобится SIP-клиент, которых есть много разных.