Индексация мультирегиональных сайтов?

Question

[newpavlov]

Делается мультирегиональный сайт (т.е. поддерживается выбор языков) с пользовательской генерацией контента. Вопрос заключается в том как правильно организовать индексацию данного сайта особенно в свете что Google не поддерживает атрибут lang. Т.е. скажем пользователь написал статью с идентификатором 25 на русском языке и она стала доступна по следующим ссылкам:


ru.example.com/article/25/

en.example.com/article/25/

de.example.com/article/25/

etc.


На каждой из этих страниц интерфейс на соответствующих языках, но сама статья везде только на русском. Как поисковые системы будут обрабатывать подобную ситуацию и как облегчить им эту работу?

Answer 1

[kirichenko]

Специально для вас писали:
webmaster.ya.ru/15326
support.google.com/webmasters/answer/189077?hl=ru

Comments

[newpavlov]

Про rel=«alternate» я в курсе, вопрос был больше про разные языки интерфейса и контента. Думал, применить для контента div с атрибутом lang с статьи, а язык интерфейса указывать в атрибуте lang тега html, но отсутствие поддержки тега lang у поисковых систем затсавило усомниться в таком подходе.

[newpavlov]

А хотя, если почитать хелпы, то они мой случай указывают, так что видимо такие ситуации они обрабатывают хорошо.

Answer 2

[rozhik]

Если говорить о гугле — то можете просто забить. Он после уже с полгода не делает никаких штрафов за подобный контент, и сам отлично разруливает подобное. На самом деле гугл поддерживает атрибут lang, но он определяет языки автоматически и самостоятельно. Значение атрибута lang по слухам влияет лишь на скорость индексации (во что я не верю).

Comments

[newpavlov]

Ясно. Видимо тогда действительно пропишу alternate и для надёжности поставлю на блоке контента атрибут lang, а дальше уже будем смотреть по обстоятельствам.

Answer 3

[Masterme]

лучше site.com/ru/article/25/

> На каждой из этих страниц интерфейс на соответствующих языках, но сама статья везде только на русском. Как поисковые системы будут обрабатывать подобную ситуацию и как облегчить им эту работу?

Как дубликаты. Облегчить — никак (а зачем?).

Comments

[newpavlov]

лучше site.com/ru/article/25/

А можете проаргументирвоать? Единственное преимущество которое я вижу у такой схемы это возможность использования полных кодов языков (т.е. ru-RU вместо просто ru), в остальном и по виду и по возможностям лично мне поддомены кажутся более оптимальным вариантом.

Как дубликаты. Облегчить — никак (а зачем?).

Проблема в том, что не приведёт ли это к каким-либо санкциям со стороны поисковика и не будет ли каких-либо глюков при индексации страницы в которой интерфейс на одном языке, а статья на другом.

[Masterme]

— вес входящих ссылок перетекает на один домен, а не на несколько, получается больше (моё умозаключение, не могу подтвердить)
— фреймворки гибче работают с параметрами в сегментах, чем в имени домена
— не надо лазить в NS-записи при добавлении нового языка

ru-RU вместо просто ru

А вот этого я никогда не понимал

не приведёт ли это к каким-либо санкциям со стороны поисковика

Единственная санкция — выкидывание из индекса дубликатов страниц. Кстати, зачем публиковать статью на другом языке? Вас бы не удивило, найди вы по адресу site.com/ru/article/25 статью на китайском?

не будет ли каких-либо глюков при индексации страницы в которой интерфейс на одном языке, а статья на другом

нет. точнее, поисковику по барабану, но пользователи, видя статьи на непонятном языке, могут вести себя иначе, и на основе их поведения поисковик сочтёт страницу менее ценной

[newpavlov]

Извиняюсь, промахнулся комментарием.

[newpavlov]

К вопросу о преимуществах использования поддомена, их плюсом мне ещё видится что при формировании ссылок нет необходимости учитывать язык, т.е. мне достаточно формировать везде /article/25/ вместо /ru/article/25/.

[Masterme]

А зачем на этом останавливаться? Сделайте поддомен ru.articles.site.com, тогда при формировании ссылок нужно будет указывать лишь /25/. Очень удобно :3

[Quber]

ru-RU вместо просто ru

А вот этого я никогда не понимал

Если Вы в США зайдёте на интернет — магазин, чтобы заказать шмотки, цены вы хотите видеть в долларах (прим. — в местной валюте), а не в рублях, так как Вы там живёте. Однако описание товара хотите видеть на русском, а не на английском, так как Вы русский.

[Par Mactep]

A-запись содержащая * в настройках NS и не нужно лазить при добавлении языка

Answer 4

[newpavlov]

В случае Джанги в обоих случаях будет использоваться специальная мидлваря, так что в этом плане разницы никакой. Да и добавление языка дело не такое уж частое, так что с NS записью проблем тоже нет. Насчёт веса, постараюсь посмотреть в данный вопрос.

Кстати, зачем публиковать статью на другом языке? Вас бы не удивило, найди вы по адресу site.com/ru/article/25 статью на китайском?

точнее, поисковику по барабану, но пользователи, видя статьи на непонятном языке, могут вести себя иначе, и на основе их поведения поисковик сочтёт страницу менее ценной

Конечно хотелось бы подтверждения насчёт «будет по барабану», ибо в ссылке которую я привёл в вопросе прямо говорится: «You can help to make language recognition easier if you stick to only one language per page and avoid side-by-side translations.». Не забывайте, что поисковики учитывают язык страницы при выдаче результатов.
Насчёт удивления, лично я бы больше удивился если бы для просмотра статьи на китайском мне было бы необходимо переходить на китайскую версию сайта. Для большей наглядности можете взять какую-нибудь социалку в которой даже при просмотре контента на другом языке интерфейс остаётся на вашем родном языке.

А вот этого я никогда не понимал

В некоторых ситуациях необходимо различать региональные особенности. Например, отличаются даже тот же британский и американский английский, что уж говорить о более экзотических случаях.

Comments

[Masterme]

«You can help to make language recognition easier if you stick to only one language per page and avoid side-by-side translations.»

Ну так это про определение языка контента, а не про вес страницы. Ладно, допустим гугл не определит правильно язык страниц, где интерфейс и контент на разных языках. К чему это приведёт? Страница может быть понижена в рейтинге с учётом языка выдачи. То есть:
/ru/article/25 — контент ru
/en/article/25 — контент ru
/fr/article/25 — контент ru
две последние получат пониженный вес. НО(!), с учётом того, что они и так содержат дубликат контента, — они скорее всего будут выкинуты из выдачи вообще. То есть, их как бы нет. Ваша задача теперь в том, чтобы объяснить поисковику, что нужная страница — это /ru/article/25.
Я на самом деле не знаю, как они относятся к смешанному содержимому, да и никто не знает, у ранжирования куча критериев, которые знает только гугл.

Я бы предложил не вносить дубликаты страниц в sitemap, а сам непереведённый контент на дубликатах страниц, помещать в noindex либо подгружать скриптом.

лично я бы больше удивился если бы для просмотра статьи на китайском мне было бы необходимо переходить на китайскую версию сайта. Для большей наглядности можете взять какую-нибудь социалку в которой даже при просмотре контента на другом языке интерфейс остаётся на вашем родном языке.

.
Я не про интерфейс. Я про соответствие /ru/articles/25 и китайского языка в контенте. Ок, я согласен, пусть ссылка будет /cn/articles/25, меню на русском (по accept-language), но контент должен быть на китайском. И это правильно, потому что ссылками иногда делятся. Если китаец поделится ссылкой /ru/articles/25 для своих китайцев, туда станут приходить китайцы, а потом вы переведёте статью, и язык станет русским — они немного не поймут, почему так. Поэтому ссылка должна быть сразу /cn/. То есть, китайский контент должен быть только по ссылке /cn/*, а русский — только по /ru/*. Аутентичность.

[newpavlov]

Я бы предложил не вносить дубликаты страниц в sitemap, а сам непереведённый контент на дубликатах страниц, помещать в noindex либо подгружать скриптом.

Мне кажется, что это не очень хорошее решение, особенно учитывая что пишут сами гугловцы: «There is generally no need to „hide“ the duplicates by disallowing crawling in a robots.txt file or by using a „noindex“ robots meta tag»

Если китаец поделится ссылкой /ru/articles/25 для своих китайцев, туда станут приходить китайцы, а потом вы переведёте статью, и язык станет русским — они немного не поймут, почему так

В том то и дело что статьи переводиться не будут, ибо контент генерируется пользователем, можете относится к ним как к публикациям в блогах или социалках.

[Masterme]

То есть, будет что-то вроде ленты, где каждый пишет на своём языке, и каждый может выбрать, на что подписываться?
Тогда деление по языкам не нужно. Достаточно просто site.com/articles/25

[newpavlov]

То есть, будет что-то вроде ленты, где каждый пишет на своём языке, и каждый может выбрать, на что подписываться?

В данном контексте можно считать именно так.

Тогда деление по языкам не нужно. Достаточно просто site.com/articles/25

А теперь представьте как вы будете объяснять домохозяйке из России или Бразилии что для того что бы подписаться на смешных котиков китайца ей нужно нажать кнопку Subscribe на басурманском языке, или объяснять китайцу умеющему делать фотографии смешных котиков как их опубликовать на сайте без его родного путунхуа?

[Masterme]

Я имею ввиду, нет смысла указывать язык в сегменте, достаточно указать в get-параметре, т.к. по смыслу он становится чем-то вроде критерия поиска. Да и то не во всех урлах. /ru/articles/25/ — бессмысленно, потому что статья есть только на одном языке.
Для категории можно указывать
/articles/?lang=ru
/articles/?lang=ru,en
/articles/?lang=ru,en&date=2013-10-30

Навигацию показывать на основе accept-language

Answer 5

[Par Mactep]

задайте статье на том поддомене, на котором она была написана rel="canonical"