Как через Robots.txt убрать из выдачи ссылки с GET-параметрами?

Question

[Голый]

Подскажите, как правильно через robots.txt убрать ссылки с get параметрами, которые дублируются в выдаче Яши.

Ссылки вида:

https://site.ru/topic/155-otkryvaem-hajdy-s-drugih-resursov/page-419?hl=%20key%20%20collector

https://site.ru/topic/161-otkryvaem-hajdy-s-drugih-resursov/page-459?hl=%D0%BA%D0%B2%D0%B0%D0%B7%D0%B0%D1%80

Указал так, но не уверен, что правильно

User-agent: Yandex
Disallow:
Clean-param: hl /page*

Сам мануал от Яндекса https://yandex.ru/support/webmaster/robot-workings...

Answer 1

[Zettabyte]

У меня есть подозрение, что в вашем случае имеет смысл указывать
Clean-param: hl /topic/
либо
Clean-param: hl /topic/*

Я использовал верхний вариант для форума с ЧПУ.

При этом, в случае сомнений, всегда можно указать просто Clean-param: hl и это точно должно сработать. Вряд ли у вас где-то ещё появляется такой параметр, да ещё и меняющий при этом другие страницы сайта.

Comments

[Голый]

спасибо