Если вдруг кто столкнется с похожей проблемой, то её я решил следующим образом
в папке .ssh создал файл config (без расширения) и добавил туда следующее:
 host (указываете host)
   hostname  (указываете hostname)
   port (указываете необходимый порт)
   user (указываете юзера)
   identityfile ~/.ssh/id_rsa