Давно не на винде, но как ssh username@hostname ? или это putty?
Пробовали явно указать путь до приватного ключа? пользователи точно совпадают? На сервере секция "AllowUsers" пуста? Под каким юзером сделали "~/.ssh/authorized_keys" ? если под root то под рутом и заходить, если конечно в конфиге ему можно заходить по ssh