В docker-compose.yml для nginx нужно добавить зависимость от других контейнеров:
nginx:
#...
links:
- frontend
- backend
Таким образом, внутри контейнера nginx станут доступными домены frontend и backend и вы сможете на них ссылаться в конфигурации nginx'а.
