XMPP (Jabber).
Сервер — Openfire (бесплатен, прост в установке\настройке)
ru.wikipedia.org/wiki/Openfire
www.igniterealtime.org/projects/openfire/
Клиент — Miranda.
ru.wikipedia.org/wiki/Miranda_IM
www.miranda-im.org/
Аудио\видео решается плагином:
addons.miranda-im.org/details.php?action=viewfile&id=3316
Miranda Multimedia Communication, VoIP and Webcam, GPL
Если неохота у себя лишние сервера городить — то, возможно, Google Talk (правда, не знаю как там сейчас в родном клиенте с поддержкой конференций), его и к своему домену прикрутить можно.
