Прям сервер перезагружать не надо, а вот приложение перезапускать придётся.
Можно повесить watch, чтобы при изменении файлов оно перезапускалось само.
Существует еще понятие "hot reload" - замена кода в уже запущено приложении. Обычно на это есть некоторые ограничения (зависит от языка).
И для этого нужно, обычно, заранее внести какие-то изменения в приложение, чтобы оно было готово к такому
Для питона нашёл вот такую штуку:
https://github.com/breuleux/jurigged 
