в данный момент все работает так — если явно указан язык то переключиться на него и сохранить в кукизах, если не указан явно — то вытянуть язык из кукизов, если не установлен там то вытянуть из браузера, а если языки браузера отсутствуют в локализации — взять дефолтное значение. вот и получится что для поисковика урл без явного указания языка будет соответствовать дефолтному языку, так как ни куки поисковик не принимает ни заголовки accept-language не шлет.
вот и получается что происходит дублирование. а поскольку дефолтный язык может измениться — нельзя привязать отсутствие языка в URL с конкретным языком.
Вот и получается — или редиректы или вообще отказаться от URL с отсутствующим маркером языка (чего не хотелось бы так как не всегда удобно прописывать этот самый маркер языка — провтыкал гдето с URL, и переключил пользователю систему на другой язык).
