Скорее всего, неправильно стоят права на файл с ключом. Они должны быть равны 600 (а на каталог .ssh желательно поставить 700), т.е. файл больше никому, кроме владельца не доступен (по умолчанию при создании файла обычно ставится 640), владельцем файла должен быть пользователь, под которым происходит подключение.