Настройка robots.txt для умного фильтра каталога?

Question

[Дмитрий]

Может у кого есть решение по настройке файла robots.txt для фильтра каталога.

Чтобы не индексировались все возможные выводы страниц фильтра в файле robots прописал:
Disallow: /catalog/*/filter/*

Убираю от индексирование все урл с параметрами:
Disallow: /*?

Есть страница фильтра со своими мета данными, например:
/catalog/kirpich-v-stile-loft/filter/tcvet-is-red/apply/

Чтобы она индексировалась прописываю:
Allow: /catalog/kirpich-v-stile-loft/filter/tcvet-is-red/apply/

Но почему то все равно индексируется страница с параметрами:
/catalog/kirpich-v-stile-loft/filter/tcvet-is-red/apply/?display=block
/catalog/kirpich-v-stile-loft/filter/tcvet-is-red/apply/?PAGEN_1=3

Как от этого избавиться?

Помогает только:
Disallow: /catalog/kirpich-v-stile-loft/filter/tcvet-is-red/apply/?*

Но прописывать для каждого фильтра слишком объемно получается...

Comments

[Дмитрий]

Оказывается все очень просто, необходимо в конце поставить $
$ — показывает, что символ перед ним должен быть последним

т.д. вот так
Disallow: */filter/*
Disallow: */filter/clear/apply/*
Allow: */klinkernaya-plitka/filter/brand-is-feldhaus/apply/$

и не будет
/catalog/klinkernaya-plitka/filter/brand-is-feldhaus/apply/?display=table

а вот так будет индексироваться
/catalog/klinkernaya-plitka/filter/brand-is-feldhaus/apply/

Answer 1

[Vladimir Kiper]

На страницах с гет-параметрами:
/catalog/kirpich-v-stile-loft/filter/tcvet-is-red/apply/?display=block
/catalog/kirpich-v-stile-loft/filter/tcvet-is-red/apply/?PAGEN_1=3

Пропишите <meta name="robots" content="noindex, follow">

Файл robots.txt носит рекомендательный характер для поисковиков, а <meta name="robots" content="noindex, follow"> строгая директива.

Comments

[Дмитрий]

А если у меня таких страниц 100?
Что мне каждый параметр учитывать и исключать?

[Vladimir Kiper]

В индексном файле через php пропишите это для гет параметров, которые генерят дубли.
Например так:

<?php 
$uri = $_SERVER['REQUEST_URI'];
$pos = strpos($uri, '?PAGEN') || strpos($uri, '?display');
if ($pos === false) {}
else{
    echo '<meta name="robots" content="noindex,follow">';}
?>

... как-то так.)

[Дмитрий]

Vladimir Kiper, теперь понятнее, спасибо!

[Дмитрий]

Vladimir Kiper, но не ужели нет правил в роботс, чтобы не писать отдельно под это код?

Answer 2

[Дмитрий]

Да уж, вот тебе и сервис, один ответ и то другой способ!!!

Comments

[Vladimir Kiper]

Зато самый эффективный! Кроме шуток. Уже писал выше почему самый эффективный. Файл robots.txt носит рекомендательный характер для поисковиков и все равно часть УРЛов с гет-параметрами могут залететь в индекс, если не в основной, то в саплиментарный. Особенно, если этих УРЛов у вас генериться очень много.

[Дмитрий]

Vladimir Kiper, попробую два метода на разных сайтах, посмотрим что получится, обязательно напишу результат! Спасибо за ответ!

[Vladimir Kiper]

Дмитрий, Все правильно. Тестирование и отслеживание результатов наше все! Пишите.)

[Дмитрий]

Vladimir Kiper, прошло 5 дней, и там где через роботс делал сразу есть результат, удалено 25% старниц из индекса фильтры с параметрами не нужными! Ура!