Какой мессенджер с открытом кодом взять?

Надо уточнить, видимо, что необходима также поддержка Jingle (XEP-0166).

Я качестве сервера я бы выбрал ejabberd, но это уже скорее вопрос вкуса и привычки.