Не нужно делать как обычно в убунту, в убунту для вм или барметал хороший менеджемент конф файлов не спорю, но в докере свои нюансы, плюс зависит от образа.
Но обычно используется образ nginx напрямую по имени, и там конфигурационные файлы лежат /etc/nginx/conf.d/ - там лежит файл default.conf в котором и собраны все секции server:
server {
listen 80;
server_name first.internal.local;
...
server {
listen 80;
server_name second.internal.local;
...
либо разделить на два файла:
first.internal.local.conf & second.internal.local.conf
Сами выбираете как вам будет удобнее.