Судя по всему сервер однопоточный. Можно выйти из положения если запустить 4 сервера на разных портах, так делают например с OpenVPN который тоже однопоточный :-(
Естественно в настройках сервера должна быть предусмотрена возможность сменить порт, ну и клиентам необходимо будет явно указывать кастомный порт.