Как исключить из индексации фильтр на сайте?

Question

[Diversia]

Подскажите пожалуйста, как исключить из поискового индекса фильтр на сайта? Чтобы поисковые роботы не кликали на кнопку фильтра (странно, но это происходит). Возможно сделать что-то типа rel="nofollow" для form/input?

noindex - не помогает

URL при использовании фильтра:

https://site.ru/cat/?arrFilter_8_MIN=&arrFilter_8_MAX=&arrFilter_116_435051366=Y&arrFilter_119_MIN=&arrFilter_119_MAX=&set_filter=%D0%9F%D0%BE%D0%BA%D0%B0%D0%B7%D0%B0%D1%82%D1%8C
https://site.ru/cat/?sort=dateAdd&set_filter=y&PAGEN_1=10 (PAGEN_1 и sort - не исключать)

Поможет ли (правильно?), если в robots.txt добавить:

Disallow: /*set_filter
Disallow: /*arrFilter

Answer 1

[Vladimir Kiper]

В robots.txt пропишите директивы следующим образом:

Disallow: *?*

По факту этого уже будет достаточно.

Плюс, я бы все-таки прописал на такие страницы с параметром ?arrFilter и ?sort= атрибут

Сразу поисковая система может не выкинуть их из индекса, понадобиться время на переиндексацию. Но это поможет.

Comments

[Diversia]

Vladimir Kiper верно ли я понимаю, что если я пропишу
Disallow: *?*,
от из поиска исключаться все запросы со символом "?" ?

В моем случае есть параметры постраничной навигации (PAGEN_1), и сортировки (sort), которые нужно отдать в поиск. Тогда будет вернее использовать:
Disallow: /*set_filter
Disallow: /*arrFilter
???

[Vladimir Kiper]

Если есть страницы с параметром ? в УРЛе, которые вы хотите отдать под индексацию, тогда да, нужно более уточняющие директивы.

Вот так:

Disallow: /*set_filter*
Disallow: /*arrFilter*

Указывайте звездочки в начале и в конце get параметра, так более точно.

Еще пропишите все таки на этих страницах <meta name="robots" content="noindex, follow">