Tertius

В том-то и дело, что вы установили passphrase, а если хотели ходить без пароля по ssh, то ее не надо было вводить. Лечится перегенерацией ключа и его переустановкой на железку.