Как сделать, чтобы Scrapy не посещал страницы с дополнительными параметрами в URL?

Question

[tispoint]

Парсинг сайта. Донор - магазин товаров с развитой системой фильтрации.
Scrapy уходит в дебри ссылок вроде
2016-03-12 11:48:08 [scrapy] DEBUG: Crawled (200) (referer: site.ru/catalog/serv
er/?brand=123&filter=4187%2C12103%2C12099%2C12141%2C12109%2C12115%2C12150%2C1207
3%2C12128&onpage=48)
и там погибает в бесконечности.
Как запретить обход ссылок вроде &filter=

Comments

[tispoint]

Мне бы пример с решением - я по аналогии приспособил бы

Answer 1

[Dimonchik]

Rule
                 (
                  LinkExtractor(deny=('&filter=',
                                      )),
                  follow = False,
                ),

Comments

[tispoint]

Скажите пожалуйста, а в правилах Rules есть приоритеты или какой-то порядок применения, если этих правил много?

[tispoint]

Спасибо огромное, разобрался

[Dimonchik]

должно быть 1-2, максимум три правила
сначала - DENY
потом ALLOW для перемещений (если на них не получается парсить)
потом allow для извлечения

если DENY последним - намучаетесь с прожорливостью, срабатывает только одно правило - то, которое совпадет первым

т.е. если у вас site.ru/catalog/serv стоит allow перед deny site.ru/catalog/serv?&filter=, он будет ходить по фильтрам

ну а так вообще правил сколько угодно, но логика может оказаться сложной, лучше отдельного краулера по другим типа страниц