Как перенаправить паука на внешний ресурс?

Question

[VitaliySm]

Есть паук, он парсит страницу с информацией, и на ней есть некий урл на внешний ресурс. Мне нужно что бы паук переходил на тот ресурс и брал оттуда некую информацию.

вот такая конструкция у меня сейчас:
def parse_start_url(self, response):
url = response.xpath("....xpath....").extract()
if shop_url:
yield Request(url + 'дополнительная часть адреса', callback=self.parse)

def parse(self, response):
sel = HtmlXPathSelector(response)
l = TestLoader(TestItem(), sel)
l.add_xpath('test', "......xpath....")
return l.load_item()

Comments

[Yuri Shikanov]

можно код по-человечески вставить ?

Answer 1

[VitaliySm]

решил вот так:
def parse_start_url(self, response):
url = response.xpath("__xpath___").extract()
yield Request("%доп_часть_урла" % url[0], callback=self.parse_url)

def parse_url(self, response):
item = TestItem()
item['telephone'] = response.xpath('__xpath____').extract()
return item