Как правильно указать host и sitemap в robots.txt?

Question

[Azami]

Здравствуйте, на разных крупных сайтах наблюдаю разные варианты размещения директив hosts и sitemap.
Подскажите, имея настройки для разных роботов в виде:
User-agent: Yandex

User-agent: Googlebot

User-agent: *

Куда вставлять Sitemap и Hosts - в каждую, или только в одну или через строку?

Answer 1

[La1serg]

Это вообще никакого значения не имеет. В панелях вебмастера укажи, какую версию сайта считать основной и где лежит карта сайта.

Открою пару секретов:
1. host уже давным давно deprecated
2. Если сайт нормально сделан, то карта сайта не особо и нужна