Ты можешь указать в robots.txt где лежит твой sitemap.
Кроме того, sitemap может быть несколько.
Пример
robots.txt с указанием адреса sitemap.xml
User-agent: *
Allow: /
Sitemap: https://site.ru/sitemap.xml
Sitemap: https://site.ru/moscow/sitemap.xml
Поисковик работает только с одним robots.txt, находящимся в корне сайта
(
https://example.com/robots.txt)
Какие существуют
требования к robots.txt:
- Размер файла не превышает 500 КБ
- Это TXT-файл с названием robots.txt
- Файл должен быть размещен в корневом каталоге сайта
- Файл должен быть доступен для роботов — сервер, на котором размещен сайт, отвечает HTTP-кодом со статусом 200 OK
- Можно указать до 500 штук файлов sitemap.xml, до 50 000 ссылок в каждом из них
Какие существуют
требования к sitemap.xml:
- Файл должен быть в кодировке UTF-8
- Максимальное количество ссылок — 50 000 (О том как разделить большой sitemap.xml написано выше)
- Максимальный размер файла в несжатом виде — 50 МБ
- Указывайте ссылки на страницы только того домена, на котором будет расположен файл
- Разместите файл на том же домене, что и сайт, для которого он составлен
- При обращении к файлу сервер должен возвращать HTTP-код 200
