В каких случаях статус кода HTTP 200 может быть неиндексируемым?

Question

[Sergei]

У меня есть таблица с данными по кроулам. Я пытаюсь её разобрать и понять почему у статуса 200 показывает неидексируемость. Я читал, что такой статус может быть только индексируемый.

Comments

[Сергей Горностаев]

GCP тут при чëм?

[Sergei]

Сергей Горностаев, я работаю в GBQ.

[Sergei]

Сергей Горностаев, и кстати, "причём" пишется слитно)

[Сергей Горностаев]

Sergei, не во всех случаях оно пишется слитно и в частности не в этом.

Answer 1

[Виктор Петров]

Вообще говоря никакой связи между ответом "200" и возможностью индексировать нету. Доступный для сканирования URL может быть закрыт от индексирования для поисковых роботов - на уровне robots.txt, мета, x-robots-tag, или просто указывать как на канонический URL на совсем другой документ.
Это просто ответ сервера: "Да, такой URL есть, и его можно просканировать". Но это не значит, что его стоит скачивать и вносить в индексы.