Как запретить Google считать страницы с GET-параметрами самостоятельными страницами?

Question

[Алексей Будаев]

Здравствуйте!
Раскрою суть вопроса: у Яндекса четко написано в документации, что можно указать яндексу на необходимость "склейки" страниц с GET-параметрами и без. Например, считать /catalog и /catalog?term= одинаковыми и не индексировать вторую.
Для этого используется директива Clean-param.
Но Google этой директивы не понимает и даже подсвечивает как некорректную в валидаторе robots.txt.
Тем не менее в индексе сейчас много мусорных страниц с параметрами, которые хочется убрать, т.к. из-за этого возникает много дубликатов title и description.
Сталкивался ли кто-либо с таким вопросом? Буду рад советам и помощи.

Answer 1

[Павел]

Насколько знаю для Гугла этот вопрос решается каноническими ссылками
Ну или в robots

Disallow: /*?*dir=
Disallow: /*?*order=
Disallow: /*?*p=

Comments

[Алексей Будаев]

Точно. Очевидно, но не пришла такая мысль в голову. Спасибо!

Answer 2

[Одиночка Айс]

Использовать <link rel="canonical" href="//myweb.com/url123" />, в каждом модуле свой закрепленный url текущей страницы

Comments

[Алексей Будаев]

Вы имеете ввиду подстановку rel="canonical" в тело страницы с параметрами?

[Одиночка Айс]

Алексей Будаев, да, не заметил что редактор вставил код как есть прям в ответ)

Answer 3

[VVB]

Более того, рекомендую использовать URL параметры в GSC (Google Search Console) по старому WMT (Web Master Tool). Там для каждого URL параметра можно Google подсказать где у Вас сортировка, а где пагинация и тд. Таким образом он сам будет понимать по каким URL c параметрами стоит ходить чаще для обновления контента (например пагинация), а какие URL приведут к дублированному контенту(фильтра, сортировки, ...).

Answer 4

[bryura]

Значения с параметрами в url /*?*= добавляем в robots
Disallow: /*?*=
с GET параметрами в url например &controller
в Search Console → Параметры URL(добавляем запрет сканирования)