Для каждого сервиса должно быть своё имя. Поэтому для frontend'a пишешь
- "traefik.frontend.rule=HostRegexp:{subdomain:[a-z]+}.domain.com"
Для бекенда:
- "traefik.backend.rule=HostRegexp:{subdomain:[a-z]+}.domain.com"
Если не помогает то включить debug режим в traefik и смотреть в логах что пишет.