Есть вот такой код парсера данные собирает но не со всех страниц где то на половине останавливается подскажите в чем может быть причина
import scrapy
class QuotesSpider(scrapy.Spider):
name = "quotes"
start_urls = [
'https://www.wildberries.ru/catalog/elektronika/noutbuki-periferiya/kompyutery?sort=popular&page=1',
]
def parse(self, response):
for quote in response.css('div.j-card-item'):
yield {
# 'link': res,
'name': quote.css('span.goods-name::text').get(),
'brend': quote.css('strong.brand-name::text').get(),
'price': quote.css('ins.lower-price::text').get()
}
next_page = response.css('div.pageToInsert a::attr(href)').get()
if next_page is not None:
next_page = response.urljoin(next_page)
yield scrapy.Request(next_page, callback=self.parse)
