Сгенерировал приватный и публичный ключ на сервере, публичный скопировал на клиентскую машину в файл 'authorized_keys' но аутентификация как и обычно проходит по паролю.
PasswordAuthentication no
, что даст гарантию что по паролю на эту машину больше зайти не удастся никому.