exs9

Можно сделать "как у взрослых": поднимать второй контейнер с новой версией и переключать трафик на него. В зависимости от типа переключения получим bluegreen либо canary deployment

Вам нужна оркестрация. Есть решения большие и сложные типа кубера, но вам вероятно подойдет docker swarm