Какую библиотеку использовать для написания парсинга и сайт бота на Python?

Question

[Эмиль Зулькарнаев]

Хочу написать бота, который будет отправлять форму поиска на сайте и парсить получившуюся страницу. Какую библиотеку для этого вы посоветуете? (python3)

Answer 1

[Gasoid]

Заточенные под парсинг:
grablib (поддержка прокси, многопоточность, сессии, смена агента, и т.д.)
scrapy

Ну или руками как выше написали:
requests, lxml, soup

Answer 2

[un1t]

requests + lxml

Comments

[Эмиль Зулькарнаев]

Lxml - тоже python библиотека?

[un1t]

Эмиль Зулькарнаев: да, с помощью xpath удобно парсить lxml.de/xpathxslt.html

Answer 3

[Dimonchik]

pycurl + lxml

если учишь Питон профессионально - scrapy

Comments

[Эмиль Зулькарнаев]

Какой порог входа для pycurl?

[Dimonchik]

уж точно поменьше реквестс
правда, с подглядкой в curl php функции

Answer 4

[Rou1997]

Сперва нужно изучить форму на сайте, если там нет AJAX, то подойдет RoboBrowser (в нем HTTP-запросы и библиотека BeautifulSoup для парсинга HTML), а если есть, то запросы сперва сниффить нужно, отправлять затем через любую HTTP библиотеку, или как вариант Selenium, Phantom.js и т.п.

Comments

[Эмиль Зулькарнаев]

сниффить?

[Rou1997]

Эмиль Зулькарнаев: Wireshark, Fiddler и т.п.