Храни приватный ключ, где хочешь, в любом безопасном по твоему мнению месте, только не выноси его за пределы машины на которой он был сгенерирован и никому не показывай.
Только при подключении надо будет указывать путь до приватного ключа, но ssh-agent помогает решить эту задачу.