Чтобы зайти по ssh с аутентификацией по ключу, на сервере демону sshd в конфигурации по умолчанию должен быть доступен файл ~<логин>/.ssh/authorized_keys. Без входа пользователя файлы из его домашнего каталога недоступны демону. Вот
тут предлагается решение этой проблемы, при котором публичные ключи хранятся не в домашних каталогах пользователей, а в /etc/sshd.