Посмотрите какие файлы есть в ~/.ssh. Скорее всего кастомный id_rsa именно там живет. Если вы не правили глобальный конфиг ssh (/etc/ssh/ssh_config), то после перезагрузки ssh ищет стандартный файлик, а именно ~/.ssh/id_rsa и, естественно, найти не может. В любом случае я бы порекомендовал перегенирить ключ и не вводить passphrase если не хотите каждый раз вводить его при подключении к удаленному узлу.
Для разных дистрибутивов единый хомяк лучше все же не делать - возможны всякие чудеса. Например разные гиды и юиды у пользователей, разный или отличающийся синтаксис конфигов одной и той же софтинки и тому подобное. А вот своп как раз таки можно сделать один на всех.
