если брать скайп то он полностью серверный. напрямую, п2п, была лишь передача тяжелого видео сигнала. а управляющие сигналы, система работы сети сети была полностью на серверах микрософта и он рулил ей как хотел.
в полностью безсерверной системе наибольшая проблема будет вход в свою оверлейную сеть, т.е. поиск своих участников в безграничной сети интернет.
в начале, при размере сети общения с гулькин нос - практически нереально.
имхо наилучше воспользоваться уже имеющейся DHT-сетью от битторента. она большая, отработанная и хорошо связанная. и уже к ней доделать свой протокол обмена сообщениями.
но наверное такая система будет интересна лишь в образовательных целях, при современном огромном выборе мало кто на нее подсядет.
да и наверное уже есть serverless im - погугли