Как происходит индексация многоязычного сайта роботами?

Question

[Monitorkin]

Здравствуйте, задался вопросом:
есть мультиязычный сайт который определяет предпочтительный язык посетителя и выдает посетителю инф. на его языке. Язык определяется из настроек браузера клиента.
Но если зашел поисковый робот (яндекс, гугл) то как они обозначают предпочтительный для них язык?
Если робот конкретно определяет язык при индексации (например русский), то как он тогда проиндексирует содержимое страниц на другом языке (на английском)?

Answer 1

[bkosun]

Никак, на самом деле у Вас должны быть страницы с разными URL под каждый язык, например:

site.ru/ru/path/to/file
site.ru/uk/path/to/file
site.ru/en/path/to/file

Дополнительно нужно:

1. Установить атрибуты rel= «canonical»

<link rel="canonical" href="https://site.ru/ru/path/to/file"/>
<link rel="canonical" href="https://site.ru/uk/path/to/file"/>
<link rel="canonical" href="https://site.ru/en/path/to/file"/>

2. Настроить автоматическую переадресацию:

site.ru/path/to/file -> site.ru/{%YOUR_DETECT_LANG%}/path/to/file

3. Включить язык по умолчанию для роботов Google и Яндекс, если они пытаются перейти по ссылке где не указан код языка.

Можно предположить, что все должно работать по этой схеме но, как показывает практика, поисковые системы игнорируют такую разметку.

P.S. Если не делать переадресацию - страницы site.ru/path/to/file всегда должны отображаться на одном языке, иначе они будут неправильно проиндексированы.

Comments

[Monitorkin]

почитал... Получается что робот не указывает язык и ему выдается язык по умолчанию, а далее он индексирует страницы на других языках по ссылкам типа ? я правильно понял?

[Monitorkin]

спасибо за разъяснение!

[bkosun]

Monitorkin, робот получит то содержимое страницы, которое ему выдали.

Если Вы определили, что робот предпочитает русский язык - он получит страницу на русском, но если в следующий раз что-то пойдет не так (а это происходит часто, поэтому, я написал о пункте №3) и робот получит страницу на английском языке - он заменит информацию в выдаче, соответственно русская версия не будет отображаться в поиске.

Проверить ответы сервера можно здесь:
https://support.google.com/webmasters/answer/60664...
https://webmaster.yandex.ru/tools/server-response/

Простой пример: https://vk.com/ads

VK работает по такому принципу, который Вы описали. Можно изучить то каким образом поисковые системы индексируют страницы VK на разных языках.

Answer 2

[tsarevfs]

Я подозреваю, что с точки зрения робота языковые версии сайта это 2 независимых подраздела сайта. И они индексируются независимо.

Comments

[Monitorkin]

с этим согласен, но если придет робот у которого явно установлен язык RU, то сайт выдаст ему все только русские страницы, и на английские робот уже не попадет. значит должен прийти робот с установленным языком EN?

[Alj]

Да. Имхо, если страницы сайта разные (а разный язык - это весьма существенно, особенно для человека) - то они должны иметь разные URI. И предпочитаю поддомен для рускоязычной, основной test.com и с переводом en.test.com , для англоязычной - наоборот test.com и ru.test.com , а еще лучше может быть test.ru и test.com. Если больше языков - то точно склоняюсь к поддоменам.