Почему Scrapy оставляет некоторые ссылки необработанными?

Question

[tispoint]

Добрый день.
Был уверен, что правило

rules = (Rule(LinkExtractor(allow=('/bedroom-melissa/')), callback='parse_item', follow=True),
    )

вызывает функцию на каждой обнаруженной странице.
В файле результатов вижу, что реально разобрано процентов 20-30 от ожидаемого количества строк, а в 70-80 процентах случаев в файл результата записана только посещенная ссылка. Вот так, приблизительно:

http://pastelmebel.ru/shop/bedroom-furniture/bedroom-melissa/shk-803/		
	http://pastelmebel.ru/shop/bedroom-furniture/bedroom-melissa/shk-846/		
	http://pastelmebel.ru/shop/bedroom-furniture/bedroom-melissa/shk-843/		
	http://pastelmebel.ru/shop/bedroom-furniture/bedroom-melissa/closet-hq-840-melissa-oak-sonoma/		
Шкаф ШК-845 Мелисса	http://pastelmebel.ru/shop/bedroom-furniture/bedroom-melissa/shk-845/	12 935 руб.	МДФ, Зеркало
	http://pastelmebel.ru/shop/bedroom-furniture/bedroom-melissa/cabinet-shk-826-melissa-oak-sonoma/		
	http://pastelmebel.ru/shop/bedroom-furniture/bedroom-melissa/shk-802/

Answer 1

[Dimonchik]

э... какой файл результата? вы не в NoSQL вставляете?

всегда дергайте текущий URL в items, так будете знать, обрабатывал он страницы или нет
item['url'] = response.request.url

Comments

[tispoint]

файл результатов - это csv. Увы, знания у меня слабые. Мне проще по примерам разбираться.
А не сможете ли помочь с написанием конкретно данного парсера? Естественно, на возмездной основе.

[Dimonchik]

напишите в мыл

[Dimonchik]

по результатам - нужно парсить только в NoSQL, причина - меняющийся / неполный шаблон на странице, что в итоге приводит к ошибке/пустым полям, в NoSQL вы увидите что поля пустые + сможете иногда разглядеть закономерность, а парсинг сразу в что-то струкрутрированное может привести к неполным данным и отсутсствию понимания, как это исправить

из NoSQL, ессно, потом вытягивается в структуру какую нужно

[tispoint]

я написал в почту. Буду признателен за помощь.