Можно посмотреть в сторону
https://traefik.io/ как edge прокси для всех проектов. Он будет слушать 80\443 порт и автоматически детектить новые сервисы если добавлять соответствующие лейблы при старте контейнеров. Там есть и автополучение let's encrypt и куча плюшек.
Но стоит учитывать что это чистый реверс прокси, накрутить туда фичи из nginx не особо получится.