VitaliySm

Решил вопрос так:
self.prod_coll.insert({ 'p_id': item['p_id'], 'code': item['code'], 'page_url': item['page_url']})
self.prod_coll.ensure_index([('p_id', pymongo.ASCENDING), ('unique', True)])

проблема была в том, что я указывал allowed_domains = ["domain"], и поэтому паук не переходил на внешие ресурсы. указав таким образом allowed_domains = [], решил проблему.

решил вот так:
def parse_start_url(self, response):
url = response.xpath("__xpath___").extract()
yield Request("%доп_часть_урла" % url[0], callback=self.parse_url)

def parse_url(self, response):
item = TestItem()
item['telephone'] = response.xpath('__xpath____').extract()
return item