Храни приватный ключ, где хочешь, в любом безопасном по твоему мнению месте, только не выноси его за пределы машины на которой он был сгенерирован и никому не показывай.
Только при подключении надо будет указывать путь до приватного ключа, но ssh-agent помогает решить эту задачу.
Логично, ведь это не динамические переменные, а что ни на есть, захардкоженые.
У Gunicorn есть способность авторелоада если код изменился, можешь воспользоваться им.
