Если вдруг кто столкнется с похожей проблемой, то её я решил следующим образом
в папке .ssh создал файл config (без расширения) и добавил туда следующее:
host (указываете host)
hostname (указываете hostname)
port (указываете необходимый порт)
user (указываете юзера)
identityfile ~/.ssh/id_rsa