Настройка robots.txt для умного фильтра каталога?

Vladimir Kiper, прошло 5 дней, и там где через роботс делал сразу есть результат, удалено 25% старниц из индекса фильтры с параметрами не нужными! Ура!

Настройка robots.txt для умного фильтра каталога?

Vladimir Kiper, попробую два метода на разных сайтах, посмотрим что получится, обязательно напишу результат! Спасибо за ответ!

Настройка robots.txt для умного фильтра каталога?

Оказывается все очень просто, необходимо в конце поставить $
$ — показывает, что символ перед ним должен быть последним

т.д. вот так
Disallow: */filter/*
Disallow: */filter/clear/apply/*
Allow: */klinkernaya-plitka/filter/brand-is-feldhaus/apply/$

и не будет
/catalog/klinkernaya-plitka/filter/brand-is-feldhaus/apply/?display=table

а вот так будет индексироваться
/catalog/klinkernaya-plitka/filter/brand-is-feldhaus/apply/

Настройка robots.txt для умного фильтра каталога?

Vladimir Kiper, но не ужели нет правил в роботс, чтобы не писать отдельно под это код?

Настройка robots.txt для умного фильтра каталога?

Vladimir Kiper, теперь понятнее, спасибо!

Настройка robots.txt для умного фильтра каталога?

А если у меня таких страниц 100?
Что мне каждый параметр учитывать и исключать?