Scrapy: как осуществить генерацию раскрывающихся полей?

Question

[JRazor]

Здравствуйте. Возникла проблема: нужно распарсить сайт на Scrapy. Но столкнулся с проблемой - не знаю, как решать задачу, когда в коде страницы еще нет данных.

Собственно, сайт: www.booktornado.com/.

Пробовал через FormRequest - безрезультатно. Поле не выбирается.

Answer 1

[ehles]

Видно, что при изменении полей формы страничка лезет по url: www.booktornado.com/DesktopModules/BookTornado/Ser... значит есть API к которому она стучится чтобы получить данные.
Я бы поступил примерно так:
1. Разобрался что отправляет страница и куда чтобы получить ISBN.
2. Cделал этот запрос через scrapy и в ответе получил ISBN.
3. Сделал запрос к www.booktornado.com/DesktopModules/BookTornado/Ser...
с, например:
ISBN:9780077967963
couponApi:BT5aiKWKlJqDV2ywKZPA
apiKey:BT5aiKWKlJqDV2ywKZPA
4. Profit

P.S. с ajax scrapy если и сможет работать то через дальнее место, проще самому разобраться откуда и как запрашиваются данные.