Googlebot проиндексировал URL с параметрами, хотя стоит запрет в robots.txt?

Question

[Igor Ivanov]

Добрый день!

Googlebot smartphone проиндексировал URL с параметрами запроса, хотя стоит запрет (Disallow) в robots.txt.

Google Search Console, меню "Index", подменю "Coverage", вкладка "Warnings". Предупреждение звучит так: "Indexed, though blocked by robots.txt". Приводится 19 URL вида: https://domain.com/?wordfence_lh=1&hid=6E50893D6BE... (я намеренно не указываю реальный домен)

Wordfence - это плагин безопасности. Ссылка соответственно появляется от него.

В поддержке плагина не дали вразумительного ответа. Вот:

Are you seeing these URLs in your console? If so, that’s normal behavior.

Я понимаю, что это не ошибка, а предупреждение. Но все же, думаю, это влияет на полноту и корректность индексации.

Специалисты по SEO, какие у вас есть предположения? Буду благодарен за любые реалистичные версии.

Comments

[Вова Дружаев]

ну так а что в роботс вписано - может ошибка у тебя с написанием?

Wordfence - плагин безопасности. Если безопасность говорит что все ок - не ссы. Бригада знает что делают

[Igor Ivanov]

Владимир Дружаев, в robots.txt: Disallow: /? (все параметры запроса на главной стр.) Верно ли написано правило?

[Вова Дружаев]

неверно. обратись к документации поисковика

[Igor Ivanov]

Ок. Сейчас я проверил работу этого правила и получил подтверждение запрета, вот ссылка на скрин: https://yadi.sk/i/dbMQWZ0akeVDgQ Но, кроме этого, собираюсь прочитать это: https://developers.google.com/search/reference/rob...

Answer 1

[Али Профи]

Robots.txt - для поисковиков это всего лишь рекомендация, они часто ее игнорируют. Вам нужно настроить rel=canonical для основных страниц.