Надо отучиваться от паролей и подключаться ключами.
После чего лучше всего в папке .ssh прописывается конфиг, например
Host test
HostName test.site
User ubuntu
IdentityFile ~/.ssh/id_rsa
Host test2
.....
и все, ssh test и вы под нужным юзером там где надо.