Для безопасного (без возможности восстановления) удаления файлов используйте команду shred. Чтобы убедиться, что они удалены, можете попробовать восстановить удаленные файлы каким-либо способом. Если данные уже были удалены менее безопасным способом, можете занулить свободное место на диске.
Что же касается ssh-ключей - не надо бездумно удалять всё подряд.