Ответы пользователя по тегу Crawling
  • В каких случаях статус кода HTTP 200 может быть неиндексируемым?

    vpetrov
    @vpetrov
    частный SEO-специалист, textarget.ru
    Вообще говоря никакой связи между ответом "200" и возможностью индексировать нету. Доступный для сканирования URL может быть закрыт от индексирования для поисковых роботов - на уровне robots.txt, мета, x-robots-tag, или просто указывать как на канонический URL на совсем другой документ.
    Это просто ответ сервера: "Да, такой URL есть, и его можно просканировать". Но это не значит, что его стоит скачивать и вносить в индексы.
    Ответ написан
    Комментировать