Как правильно прописать X-Robots-Tag для запрета индексации ссылки?

Question

[S_dryg]

Здравствуйте, есть сайт на CMS: DLE. В панели вебмастера гугл очень много ошибок: "Проиндексировано, несмотря на блокировку в файле robots.txt", часть из них я исправил, но многие, возможно, не решены.


Ранее пытался убрать из индекса ссылки с помощью robots.txt, но понял, что это не решение. Наткнулся на X-Robots-Tag, глянул, что можно прописать в .htaccess, но для моего типа ссылок https://сайт/index.php?do=download&id=56912 (любые цифры, ссылок много), это вариант не подходит. Ссылки ведут не на страницу, а на скачивание файла, при переходе просто скачается файл.
Нашел, что можно прописать в файле index.php, прописал:
X-Robots-Tag: noindex, nofollow
Но, почему-то, при проверке в вебмастере гугла любой из ссылок https://сайт/index.php?do=download&id=56912
выдает, что индексирование разрешено, хотя тег X-Robots-Tag: noindex, nofollow проставлен в коде ответа http

Так и должно быть или нужно искать другой способ, чтобы убрать файлы из индекса?

Comments

[sergski]

В robots.txt не должно быть запрета на индексацию. Робот должен спокойно зайти на страницу, считать там noindex nofollow и игнорировать индексацию.

[S_dryg]

sergski, Все верно, у меня нет запрета в robots.txt. Странно, что не показывает в поле, где индексирование разрешено: "Нет".

[Александр Овсянников]

Если вы проверяете этот отчет до того, как робот посетил страницу, то он не увидит запрет на индексации. Проверьте запрет с помощью сервиса Яндекса https://webmaster.yandex.ru/tools/server-response/ или сторонними инструментами, например https://pr-cy.ru/x-robots-checker/ или плагином Detailed. Ряд еще проверенных плагинов для браузеров и инструментов можете найти в статье, которую я написал как раз про этот мета тег https://thepoisk.ru/x-robots-tag

Но все таки, вам эффективнее использовать rel="canonical", если это ссылка на скачивание и на них есть переходы Потому что закрывая x robots tag вы полностью обрубаете поведенческие по этим ссылкам, а rel="canonical" позволяет роботам ходить по этим ссылкам, но просто они будут их считать каноническими другой странице откуда идет скачивание.

[S_dryg]

Александр Овсянников, я проверяю в моменте страницу, гугл показывает актуальную дату и время проверки. Яндекс не подходит, так как я там заблокировал эти ссылки с помощью robots.txt, этот вариант там хорошо работает. Я проверял код ответа http страницы, в разных сервисах, показывает, что тег есть.
rel="canonical" - его вообще никак не использовать, он же на странице размещается, а у меня даже не страница, просто ссылка на скачивание, при переходе скачается файл и все.

[Александр Овсянников]

S_dryg,
1) В robots.txt разделите тогда, закройте для яндекса, а для google откройте. Робот должен попасть на эти страницы, чтобы исключить их. Сейчас если у вас для всех роботов закрыто в robots.txt то Google не сможет попасть по этим ссылкам и исключить их.
2) На некоторых проектах замечал, что новая Google Search Console не корректно может отображать x robots tag и писать что индексируется.
3) Удалите все эти ссылки через Google Search Console инструмент Удаление.

[S_dryg]

Александр Овсянников, 1. У меня так и сделано, для яндекса свои правила, а для гугла другие.
2. Вот насчет некорректного отображения x robots tag спасибо, мне кажется, что у меня именно эта ситуация, так как тег отображается, но пишет, что разрешено индексировать.
3. Уже частично удалял, но такой объем, конечно, не быстро руками удалять.

Answer 1

[Дмитрий]

Попробуй закрыть страницы метатегом

Comments

[S_dryg]

Имеешь ввиду
<meta name="robots" content="noindex"/>? Это не страница, а ссылка на скачивание файла, так что метатегом не запретить, только заголовок ответа http.