def start_requests(self):
#получаем куки
return scrapy.Request(...., callbac=self.parse)
#Делаем запрос на сайт раз в минуту
def parse(self, response):
data = [
{
some data
},
{
some data
}
]
for i in range(1, 1000): #Повторяем запрос, возможно другая реализация?
for d in data:
yield scrapy.Request(...., callback=self.search)
def search(self, response):
#Обрабатываем данные и провереяем, если куки не действительны, запустить все с начала