Здравствуйте.
Суть вопроса такова: есть некий сайт, на него я логинюсь с помощью phantomjs, получаю json файл с куками.
После этого я хотел бы отдать эти куки scrapy, чтобы scrapy логинился и забирал информацию с сайта.
При тесте кода приведенного ниже на
httpbin.org/cookies, нет полученных кук.
Если задать индекс, например cookies[0], то на
httpbin.org/cookies я получаю одну куку (что предсказуемо). Но нужно отдать все из json файла.
class MySpider(BaseSpider):
name = 'MySpider'
start_urls = ['http://site.ru']
def get_cookies(self):
os.system("phantomjs ~/ph.js")
with open('cookie.json') as data_file:
data = json.load(data_file)
print data
return data
def parse(self, response):
cookies = self.get_cookies()
return Request(url="http://httpbin.org/cookies", cookies=cookies,
callback=self.after_login)
def after_login(self, response):
print response.body_as_unicode().encode('utf-8')
