Есть 2 равноправных решения:
- Раскидывать на хосты конфиги и подключать их через тома
- Править шаблонный конфиг скриптом в entrypoint образа через перменные среды, задаваемые при создании контейнера.
По сути выбор между обслуживанием индивидуальных конфигов на хостах или скрипта в образе.