Только при условии, что все клиенты в состоянии слушать порт на "белом" IP. То есть, либо у них самих "белый" IP, либо порт проброшен через NAT.
В таком случае, просто организуйте кучу тоннелей точка-точка и накрутите маршрутизацию.
Невозможность достучаться до портов клиентов можно попытаться обойти, используя STUN, ICE и другие трюки из мира VoIP, но это требует определенных интеллектуальных вложений.