Все разобрался, создал один прокси-контейнер nginx туда смаунтил конфиг nginx и сертификат.
Спасибо ребятам из reg.ru помогли настроить сертификат. (как оказалось это не сложно, но я забыл как)
В docker-compose создал сеть типа nginx_net.
И потом каждый новый контейнер, если мне нужно его выставить на новом порту, настраиваю не на внешний порт, а на сеть nginx_net. А внешний порт открываю в прокси-контейнере.
Таким образом, сертификат проброшен только в один контейнер, а остальные контейнеры видят только локальную сеть докера nginx_net и нет необходимости каждый контейнер настраивать на внешние порты, ssl-сертификаты, домены и т.п.
