На сколько я понимаю, поисковики используют единую базу для всех своих «веб-морд». Поэтому и робот скорее всего один.
Поэтому, наверное, лучше делать однозначную адресацию страниц для каждого из языков. А поисковики (при условии индексации всех вариантов страниц) пусть уж сами разбираются, что отдавать пользователю в зависимости от языка запроса.
