Да, для статики проще проще сделать ещё один контейнер. Можно использовать nginx, а можно развернуть сервер на любом языке, например, на go или даже на том же .net. Кстати в пользу .net можно считать факт, что если запаковывать из одного и того же базового образа, то в сумме они будут занимать места чуток брльше, чем чем один образ. Хотя я бы все равно взял nginx) А для проксирования в контейнеры очень рекомендую traefik, который сам умеет отслеживать запуск и остановку контейнеров, корректно выдавая 404 в случае чего, да ещё health checker есть и прозрачная интеграция с Lets enctypt
