Как сделать robots.txt и sitemap.xml на мультиязычном сайте?

Question

[AlexeyFuture]

Есть сайт, у него две версии, для рф и для Беларуси, белорусская в
site.com и site.com/by/
Как правильно будет сделать robots и sitemap?
По ссылке sitem.com/by/robots.txt и sitem.com/by/sitemap.xml?

Comments

[Refguser]

Изучаем матчать

Answer 1

[Сергей Круглов]

robots.txt, разумеется, только один и только в корне домена site.com, как иначе то )

sitemap два - для РФ и для РБ в корне site.com, ну так просто правильнее.

В качестве рекомендации добавьте hreflang для указания языковых версий, пример:

<link rel="alternate" href="http://site.com/page1" hreflang="ru" />
<link rel="alternate" href="http://site.com/by/page1" hreflang="be" />

Answer 2

[ThunderCat]

Не особо важно для сайтмапа. Роботс вроде всегда лежит в корне, в нем можно указать все правила для разных языков.
Сайтмап может "лежать" где угодно, главное правльно внести его/их в поисковые системы.

Answer 3

[Дмитрий]

У вас один сайт с мультиязычной версией. Можете один общий сайтмап делать site.com/sitemap.xml

А в нём сделать ссылки на карту для РФ и для РБ:

site.com/sitemap-by.xml
site.com/sitemap-ru.xml

и всё нормально проиндексируется

Answer 4

[Виктор Петров]

robots.txt всегда лежит только и исключительно в корне сайта, никак иначе.
Где лежит сайтмап - в общем-то, без разницы, тут строгих правил нет. Хотя разумнее держать его тоже в корне.