Как сделать парсер на python учитывая что переход по страницам осуществяется на javascript?

Question

[Алексей]

Добрый день!
Я только начал разбирать python и о нем мало что знаю.
Столкнулся с такой проблемой на примере статьи gis-lab.info/qa/scrapy.html сделал парсер, но когда начал переделывать под свои нужды а именно:
Сделать парсер сайта https://bankrot.fedresurs.ru/ArbitrManagersList.aspx для получения всех FIO и URL увидел что все постраничная навигация осуществляется методом ajax запроса. Как можно сделать парсер использую python? Заранее спасибо!

Answer 1

[nirvimel]

В данном случае достаточно установить печенку AmListSearch в значение PageNumber=N, запросить станицу по этому же адресу и получить в ответе список, открытый сразу со страницы N.
Например:

$ curl --cookie "AmListSearch=PageNumber=12" https://bankrot.fedresurs.ru/ArbitrManagersList.aspx > bankrot.html
$ firefox bankrot.html

А вообще, в подобных случаях следует действовать по примерно такому алгоритму:

1. Через FireBug (или встроенную панель разработчика Tools->Web_Developer->Network) отловить исходящий HTTP-запрос на действие, вызывающее подгрузку AJAX-контента.
   
2. Определить через какой параметр передается переменная (номер страницы, например). Это может оказаться не только параметр GET-запроса, но и поле POST-формы, или печенка, или даже произвольный кастомный HTTP-заголовок.
   
3. Определить формат и структуру ответа. Это может быть произвольный HTML-фрагмент (чаще всего), или целый HTML-документ, или XML, или JSON (самый правильныйЪ вариант с точки зрения разработки), или вообще произвольный текстовый формат, который парсится скриптом после получения (именно такой бредовый формат имеем в данном случае, я даже не стал его разглядывать, сразу попробовал обходные пути и нашел же один).
   
4. Написать скрипт, который формирует запросы, подобные тем, что уходят со страницы, и парсит ответы.
   

Comments

[Алексей]

Добрый день!
Ответ мне очень сильно помог, спасибо!

Я наткнулся еще на одну проблему связанную с парсингом данного сайта.
Она аналогична предыдущей. Не могу разобраться как сделать переход по страницам сообщения. Смотрел через Network, в запросе не передается как в предыдущем примере Cookie. В разделе Form Data (панель Network) имеется параметр со значением __EVENTARGUMENT=Page$2. Пробовал его добавить таким образом g.setup(post={'__EVENTARGUMENT':'Page$2'}) в пример ниже, но результатов никаких не последовало, подскажите пожалуйста как решить данную задачу. Еще раз спасибо за пример предоставленный выше!

Ниже пример кода:

from grab import Grab
g = Grab()
g.setup(document_charset='utf-8')
g.go('https://bankrot.fedresurs.ru/ArbitrManagerCard.asp...')

for messages in g.doc.select('//table[@id="ctl00_cphBody_gvMessages"]/tr'):
for item in messages.select('./td[1]'):
print(item.text())

Answer 2

[bioroot]

В качестве альтернативы в теории можно прикрутить PhantomJS в качестве webdriver для Selenium. Правда сам не пробовал. Когда была задача по парсингу сайтов, то мне было проще пересесть напрямую за PhantomJS/SlimerJS. Но там было много сайтов с похожей структурой и не было возможности руками разбираться где есть ajax, а где нет.