Сгенерировал приватный и публичный ключ на сервере, публичный скопировал на клиентскую машину в файл 'authorized_keys' но аутентификация как и обычно проходит по паролю.
Ты с сервера заходишь ни клиентскую машину, что ли? Потому что публичный ключ кладут на машину НА которую заходят.
Чтобы заходить с клиента на сервер, генерируй ключевую пару на клиенте и записывай публичный ключ в authorized_keys на сервере.