Как правильно использовать Allow и Disallow в robots.txt?

Question

[Lander]

Добрый день.
На сайте есть куча "мусорных" ссылок вида:

http://site.com/slug_link_1/temp_name_1/
http://site.com/slug_link_2/temp_name_2/
http://site.com/slug_link_3/temp_name_3/

Пытаюсь запретить их индексацию в robots.txt, но так чтобы ссылки вида site.com/category/it индексировались. Прописываю в файле:

...
Disallow: /*/*/
Allow: /category/*/
...

Сомневаюсь в правильном ли порядке записаны правила? Или всё таки надо сначала разрешать категории, а потом запрещать всё остальное?
Заранее спасибо за ответы.

Answer 1

[Дмитрий Дарт]

Если мусорных больше, то запретите всё и разрешите избранные, например:

Disallow: /
Allow: /category/it

Если сомневаетесь внутри яндекс-вебмастера есть инструмент для проверки robots.txt можно задать правила прям там в окне, потом ввести URL и посмотреть будет ли он по ним индексироваться, воспользуйтесь.

Comments

[Lander]

Ну там не настолько всё плохо... Мусорных явно меньше чем полезных. Просто их "пространство" пересекается с полезными, поэтому небольшой ступор.

[Дмитрий Дарт]

Lander, я просто на память не помню сработает ли:
Disallow: /slug_link_*/
Вроде нет, а это значит либо те, либо другие придётся перечислять...

[Lander]

Дмитрий, slug_link_ - я привел только для примера. На самом деле там [a-z0-9_\-]*