Парсинг ASP.NET (средствами python)

Question

[slowking]

Столкнулся с такой проблемой: на сайте gzakupki нужно спарсить инн-ы поставщиков. Заходим сюда gzakupki.ru/guide/supplier.aspx в поиске пишем, например, «0» и имеем 40к страниц выдачи. Как переходить со страницы на страницу? Как снифать запрос правильно (точнее — что)?

Answer 1

[batalex]

Тоже недавно парсил ASP.NET приложение. ИМХО процедура сложная и муторная, и не факт, что за разумное время выполнимая. В моем случае повезло. Я делал так: взял Firefox, поставил Firebug, на вкладке «Сеть» включил логгирование запросов, посмотрел какие запросы идут и какие переменные передаются. Проанализировал, аккуратно передал тоже самое руками. Проблема, как уже сказали, во всяких ViewState, но в моем случае удалось без него обойтись.

Предложу альтернативное решение — Firefox + Selenium WebDriver. Тогда вообще не надо париться, как pagination реализован — просто говорим селениуму, чтобы он «прощелкивал» последовательно страницы, и все.

Comments

[slowking]

Спасибо, попробую.

Answer 2

[Alex Shkor]

Не повезло вам однако. Страница написаная на ASP.NET да еще и не очень качественно — лучшая защита от парсинга =)
Почти на каждое действие на ASP.NET странице идет пост формы, с помощью чего ViewState качует с клиента на сервер.
Вам придется отправлять POST запросы на supplier.aspx при этом эмулировать ViewState и метод его энкриптинга.
Теоретически задача решаемая, но я бы посоветовал найти другое решение вашей первоначальной задачи.

Comments

[slowking]

А можно в этом случае заюзать какой-нибудь grab или mechanize?

[Alex Shkor]

Точно не скажу, так как не пользовался.

Answer 3

[slowking]

Заюзал ChromeDriver + python-selenium — работает отлично! Всем спасибо за ответы.

Answer 4

[logan]

scrapy вам в помощь.