Ответы пользователя по тегу Scrapy
  • Как получить данные с 2 сайтов в один item Scrapy в одном пауке?

    gedeys
    @gedeys
    Все данные с одного сайта передавать по "цепочке" на другой в словаре (cb_kwargs или meta)....
    def start_requests(self):
        yield scrapy.Request(
                    url=url_1,
                    callback=self.parse
                )
    
    def parse(self, response, **cb_kwargs):
        cb_kwargs['some_data'] = response.css('title::text').get()
        yield scrapy.Request(
                    url=new_url,
                    callback=self.parse_2,
                    cb_kwargs=cb_kwargs
                )
    def parse_2(self, response, **cb_kwargs):
        print(f"Title from first site {cb_kwargs['some_data']}")
        print(f"Title from second site {response.css('title::text').get()}")
    Ответ написан
    Комментировать