У страниц с одним содержанием но на разных языках должен быть один URL. Это разные представления одного объекта.
Но так, как нормально работать с HTTP 1.1 человечество уже 13 лет учится и еще не научилось, придется на сервере реализовать клиентскую логику. Придется сделать отдельные URL и общий url, который будет делать редирект temporary moved 302 на локализованные страницы. И еще заголовок vary не забыть, чтобы прокси и бот понимали, что это локализованная страница.
А на каком языке показывать сайт в выдаче поисковик решает сам. Можете дополнительно подсказать ему заголовком Content-Language. Может быть он его поймет.