Задать вопрос
Ответы пользователя по тегу robots.txt
  • Правильный ли robots.txt, sitemap в моем случае?

    Service_Rookee
    @Service_Rookee
    Добрый день!
    Robots.txt некорректный, всего 3 строки. Нужно просмотреть страницы в индексе, убрать все лишнее и как минимум добавить директиву Sitemap.

    По sitemap.xml согласны с предыдущим оратором. В одном файле может быть до 50 000 ссылок. Не стоит разбивать его на несколько частей. Плюс к тому, не очень понятно, зачем пустой файл туда было добавлять - https://kit4h.com/payments_tries-sitemap.xml
    Ответ написан
    Комментировать
  • Разные sitemap и robots?

    Service_Rookee
    @Service_Rookee
    Доброго времени суток!
    Через FTP-доступ загрузить разные файлы в корень сайтов
    Ответ написан
    Комментировать
  • Народ оцените плиз, нормальный ли роботс.тхт?

    Service_Rookee
    @Service_Rookee
    Добрый день!
    Согласны с предыдущим оратором, что нет смысла ставить * после «.css» и «.js». Ее отсутствие также означает любое количество символов после.
    Да, не хватает директивы «Sitemap: https://site.ru/sitemap.xml».
    А вот Host уже можно не указывать. Яндекс остановил поддержку этой директивы полтора года назад. Теперь переезд сайта можно делать сразу при помощи 301-го редиректа.
    Ответ написан
    Комментировать