Почему индексируется страницы закрытые тегом robots и в robots.txt?

Question

[Gabib]

У меня есть страницы с GET параметрами, все они закрыты в robots.txt, а также тегом в robots noindex/nofollow, но гугл всё равно их индексирует, как исправить?
Убрать запрет на скан в robots.txt?

Answer 1

[mayton2019]

Вот тут пишут https://developers.google.com/search/docs/crawling...
что robots.txt - это как-бы рекомендательный а не запрещающий механизм. Тоесть гугл все равно
сам решает индексировать ему или нет если есть внутренние ссылки на скрытое роботом содержимое.

Comments

[Gabib]

Классно, понял, буду думать, как решить этот вопрос. Спасибо

[Dimonchik]

Gabib,
Если вы не хотите, чтобы какие-либо страницы с вашего сайта были представлены в Google, добавьте на них директиву noindex

Answer 2

[Пума Тайланд]

Пропишите каноникал на этих страницах и не майтесь фигней

Answer 3

[Виктор Петров]

robots.txt - это про сканирование и возможность скачивать. Это не запрет на индексацию, и Гугл может всё равно индексировать страницу, если получит достаточный объём сигналов делать так. Ссылки, визиты пользователей - что угодно.
Он не видит вашей рекомендации не индексировать, поскольку не может скачать и просканировать проблемные URL.
Убирайте Disallow в robotx.txt, решайте вопрос метатегами.

Answer 4

[rPman]

Если у тебя есть страницы, на которые не предполагается переход из вне, формируй их POST запросами. Ссылки оформлять на javascript (либо как то делать скрытую форму и стилизовать submit кнопку под ссылку но это извращение)

недостаток, если пользователь обновит страницу или перейдет по историю на предыдущую, браузер спросит о повторной отправке POST запроса

ни один поисковик не индексирует POST запросы и при этом это общепринятая практика использовать это для поиска на сайте.

Answer 5

[lotse8]

https://developers.google.com/search/docs/crawling....