Есть подозрение, что авторизация проходит по строке:
auth optional pam_permit.so
(Если, конечно у Вас в /etc/pam.d/sshd не определены отдельные правила для процесса sshd)
Попробуйте перед этой строкой добавить:
auth requisite pam_deny.so
или
auth required pam_deny.so
P.S. Только на время эксперимента держите подключенной ssh сессию с правами root, чтобы если что — вернуть всё назад.