Задать вопрос
Ответы пользователя по тегу robots.txt
  • Как запретить в robots.txt параметры с #?

    vpetrov
    @vpetrov
    частный SEO-специалист
    Незачем. # склеиваются (консолидируются) с каноническим URL.
    Ответ написан
    Комментировать
  • Проблема с файлом robots.txt в Google Search Console. Откуда он его берет?

    vpetrov
    @vpetrov
    частный SEO-специалист
    Настройте редиректы на главное зеркало, сейчас все зеркала отдают 200.
    Во-вторых, у вас robots.txt выглядит вот так:
    User-agent: * Disallow: *.epub Disallow: *.djvu Disallow: /404.php Disallow: *?* Disallow: *menu*.shtml Disallow: /bot.shtml Disallow: /?* Disallow: *rmp.shtml Disallow: *txt1.shtml Disallow: *txt2.shtml Disallow: /rus/ Disallow: /eng/train-ticket/ Disallow: /eng/russia/trans-siberian-railway/ Disallow: /eng/mongolia/fishing/ Disallow: /eng/mongolia/text/ Disallow: /eng/mongolia/informations/ Disallow: /eng/mongolia/ub/ Disallow: /eng/mongolia/ulaanbaatar/ Disallow: /forum/ Disallow: /eng/mongolia/tour/index.shtml Disallow: /eng/mongolia/pictures/foto.shtml Sitemap: https://legendtour.mn/sitemap_mn.xml
    Почему сайтмап указывает на неглавное зеркало? Что с форматированием?
    Ну и в третьих - всё в порядке с индексом в Гугле, что значит не появляется в поиске?
    Ответ написан
  • Robots.txt в индексе, это нормально?

    vpetrov
    @vpetrov
    частный SEO-специалист
    У Гугла много индексов, выполняющих служебные функции. О каком индексе речь?
    Если robots.txt попадает в поисковую выдачу - это о каких-то проблемах с форматом, баге самого Гугл или о внешних сигналах, которые заставили Гугл думать, что у файлика есть какая-то самостоятельная ценность. Для примера: файлик благодаря контенту или оформлению получил внешние ссылки и его пошёл изучать народ.
    В любом случае - без вспомогательных данных тут только гадать на кофейной гуще.
    Ответ написан
    Комментировать
  • Как корректно закрыть от индексации дубли?

    vpetrov
    @vpetrov
    частный SEO-специалист
    Технические дубли не надо закрывать от индексации, их надо склеивать с целевой посадкой. Способов много, надо отбирать по конкретному движку и сайту. Где-то - использовать 301, где-то - канонические адреса, где-то и Clean-param достаточно под Яндекс.
    Ответ написан
    Комментировать
  • Как сделать исключения для disallow в robots.txt?

    vpetrov
    @vpetrov
    частный SEO-специалист
    robots.txt - это про сканирование, а не индексацию. URL с параметрами надо склеивать. Для Яндекс есть Clean-param, прекрасно работает. Для прочего есть канонические адреса и мета robots.
    Ответ написан
    1 комментарий
  • Почему яндекс индексирует запрещенные страницы?

    vpetrov
    @vpetrov
    частный SEO-специалист
    Выше уже сказали, что директивы оформлены с ошибками.
    Отмечу нюанс: robots.txt управляет сканированием, не индексацией. Это совершенно разные вещи.
    Ответ написан
    Комментировать