ForhaxeD

Ejabberd советую, очень отказоустойчивый, язык Erlang. Допиливать вроде просто.

OpenFire не советую, он написан на Java, под каждого клиента нужно около 1-ого мегабайта в оперативной памяти.