А зачем один конфиг на разные проекты?
Пробовал nginx с docker-compose держать в отдельном проект, удобно, но... деплоить приходится руками, т.к. этот проект ничего не знает про фронт и бек.
В смысле он ничего не знает? Тебе нужно придерживаться микросервисной архитектуры, когда сервису ничего не нужно знать, кроме того, куда пулять http запрос. Пусть твой балансировщик проксирует / на фронт, а /api/ на бэк или как там у тебя урлы построены и всё.