Выбери сервер, который будет играть роль бастиона (jump хоста), то есть такого сервера, с которого можно подключаться к остальным серверам.
Пробрось наружу 22 порт (или какой там ты выбрал для SSH) этого бастиона или (jump хоста).
Добавь свой публичный ssh ключ на сервера к которым собираешься подключаться и отключи аутентификацию по паролю.
Подключайся к бастиону с пробросом аутенификации (флаг
-A
у штатного ssh клиента, чтобы на бастионе отсутствовал приватный ключ), а с бастиона уже к интересующему серверу.
Чтобы каждый раз не вводить длинную команду опиши подключения в
~/.ssh/config
PS
Магия SSH
Памятка пользователям ssh