Как правильно скрыть от индексации в robots.xtx?

Question

[Руслан Макаров]

Доброго!
Есть страница с списком товаров, допустим: /podarok/ - она должна быть в индексе.
И есть фильтр по параметрам товаров, применив который получаем страницы типа:
/podarok/?fwp_price=2000&fwp_interesi=uyut-doma
/podarok/?fwp_price=5000&fwp_interesi=hozyajke

Какую строчку нужно добавить в robots.txt, чтобы страница /podarok/ - была разрешена для индекса, а все ее варианты фильтров запрещены.
Заранее спасибо!

Answer 1

[bkosun]

Примерно так:

User-agent: *
Disallow: /podarok/*?

Кстати, можно просто указать канонические ссылки:

<link rel="canonical" href="http://example.com/podarok"/>

Так же можно использовать специальные правила, чтобы роботы просто игнорировали нежелательные ссылки, таким образом можно снизить нагрузку на сервер:
https://yandex.ru/support/webmaster/robot-workings...
https://www.google.com/webmasters/tools/crawl-url-...

Comments

[Руслан Макаров]

canonical установлен.
обязательно ли устанавливать правило в роботс?

[bkosun]

Руслан Макаров, нет

Answer 2

[Пума Тайланд]

Каеоникал мне кажется тут куда уместнее