Python Web: Multiprocessing vs Threads. Что лучше использовать для парсинга?

Question

[JRazor]

Видимо я не слишком понимаю разницу, но я не пойму - что лучше использовать для web-парсинга? Есть ли русское чтиво на эту тему?

Answer 1

[Сардар]

Можно использовать Scrapy. Вам тогда не придется думать о параллельных процессах, блокировках и IO в целом. Вы просто пишете логику разбора страницы. Сам проект на Twisted.

Answer 2

[zxmd]

Одно хочу сказать про lxml - не используейт его parse с передачей URL в качетве источника. Лучше скачать страницу тем же request и загнать ее в lxml через document_fromstring - много себе нервных клеток сэкономите.

Comments

[JRazor]

Радовался как ребенок, когда узнал про xpath. Раньше парсил через cssselect. Радость ушла после часа мозгоклюйства и кучи не найденных элементов. Такая удобная вещь, а так криво работает. Наверное, мы просто не умеем ее готовить. :)

[JRazor]

@zxmd Cssselect работает c xpath! Я снова рад, как ребенок. Спасибо за совет)

[sim3x]

@JRazor csspath работает не с xpath, а через него