Всем привет. Работаю со scrapy.
Не могу понять как сделать следующее, есть несколько сатмапов, я сканирую первый из списка ( этим - SitemapSpider ), потом когда он прошел по всему из первого урла мне нужно что бы он дополнительно обработал все урлы, (предварительно я по каждому урлу собрал title и сложил в список) т.е. мне нужно взять этот список и сравнить из данными из базы данных и если есть различия и т.д. зафиксировать. Самый сок в том что мне нужно после каждого сайтмапа делать некие манипуляции с инфой по этому урлу и потом запускать для следующего урла.
Сейчас для одного сайтмапа я делаю это просто), т.е. в файле pipelines.py в функции close_spider я делаю то что мне нужно, но как такое сделать для разных урлов?), в голову приходит только одна мысль - запускать паук из другого файла в котором будет цикл отвечающий за перебор списка урлов и передачу их в паук, но так как я недавно пришел в python и scrapy не знаю насколько хороша эта идея и решил спросить более опытных людей.
Подскажите пожалуйста делать по тому варианту как я написал или в scrapy для таких целей есть что-то?
P.s. В документации есть вот такой
пример, но он мне не подходит из-за того что он в конце все равно все склеивает в одно просто обрабатывая разные ссылки отдельными методами, кроме этого ничего не могу найти
from scrapy.spiders import SitemapSpider
class MySpider(SitemapSpider):
sitemap_urls = ['http://www.example.com/robots.txt']
sitemap_rules = [
('/shop/', 'parse_shop'),
]
other_urls = ['http://www.example.com/about']
def start_requests(self):
requests = list(super(MySpider, self).start_requests())
requests += [scrapy.Request(x, self.parse_other) for x in self.other_urls]
return requests
def parse_shop(self, response):
pass # ... scrape shop here ...
def parse_other(self, response):
pass # ... scrape other here ...
