Михаил

Блин ответ нашел в одном из похожих вопросов:
копируешь ~/.ssh/id_rsa.pub у себя на локалке и отдаешь его в ~/.ssh/authorized_key о уже на своем vps