zersh

возможно он пытается отрезолвить свой hostname
стоит проверить hosts - и добавить туда запись, если отсутствует

если оболочка bash
дописать вконец ~/.bashrc

cd /путь/к_папке

Ещё проверь права на папку - должны быть 700
Если не поможет : проверить /etc/ssh/sshd_config - разрешена ли там вообще авторизация по ключу.
Если да, то тогда только логи мюпомогу определить причину

Тут можно подойти разными способами:
1. Fail2ban отличный вариант
2. Воспользоваться интернет ресурсами по поиску списка ip адресов провайдеров вашего региона и разрешить доступ только с них, а для других регионов использовать vpn
3. Найти правило антифлуд для iptables. Тоже неплохо работает: буквально 3-4 строчки.
4. Вынести на нестандартный порт. Но все выше описанное, лишним не будет