Ответы пользователя по тегу robots.txt
  • Robots.txt в индексе, это нормально?

    vpetrov
    @vpetrov
    частный SEO-специалист, textarget.ru
    У Гугла много индексов, выполняющих служебные функции. О каком индексе речь?
    Если robots.txt попадает в поисковую выдачу - это о каких-то проблемах с форматом, баге самого Гугл или о внешних сигналах, которые заставили Гугл думать, что у файлика есть какая-то самостоятельная ценность. Для примера: файлик благодаря контенту или оформлению получил внешние ссылки и его пошёл изучать народ.
    В любом случае - без вспомогательных данных тут только гадать на кофейной гуще.
    Ответ написан
    Комментировать
  • Как корректно закрыть от индексации дубли?

    vpetrov
    @vpetrov
    частный SEO-специалист, textarget.ru
    Технические дубли не надо закрывать от индексации, их надо склеивать с целевой посадкой. Способов много, надо отбирать по конкретному движку и сайту. Где-то - использовать 301, где-то - канонические адреса, где-то и Clean-param достаточно под Яндекс.
    Ответ написан
    Комментировать
  • Как сделать исключения для disallow в robots.txt?

    vpetrov
    @vpetrov
    частный SEO-специалист, textarget.ru
    robots.txt - это про сканирование, а не индексацию. URL с параметрами надо склеивать. Для Яндекс есть Clean-param, прекрасно работает. Для прочего есть канонические адреса и мета robots.
    Ответ написан
    1 комментарий
  • Почему яндекс индексирует запрещенные страницы?

    vpetrov
    @vpetrov
    частный SEO-специалист, textarget.ru
    Выше уже сказали, что директивы оформлены с ошибками.
    Отмечу нюанс: robots.txt управляет сканированием, не индексацией. Это совершенно разные вещи.
    Ответ написан
    Комментировать