Если везде ubuntu — можно использовать ssh до связуещего сервера + закрыть ssh порты на внешних интерфейсах на всех остальных серверах с помощью iptables, оставив SSH работать на внутренней сети.
Для управления связкой серверов — используйте
pdsh (Paraller Destributed Shell).
Для доступа используйте SSH ключи + политики пользователей.
Удачи!