Как и чем парсить сайты на python'е?

Question

[Drjabaka]

Привет!) Чем парсить сайты, есть ли для этого специальные модули и русская документация к ним?

Answer 1

[Виталий]

Beautiful Soup
Документация к 3-й версии

Answer 2

[webus]

scrapy.org

Answer 3

[m0ody]

grab

Answer 4

[Александр]

requests + BeautifulSoup или pyQuery(выборка DOM в стиле jQuery).

Answer 5

[kzlv]

Пробовал всякие scrapy и прочие "фреймворки для парсинга", но приходилось с ними много бороться. В итоге пришел к написанию собственной утилиты. Построено поверх requests + lxml: первым делаешь запросы, вторым — с помощью селектора XPath забираешь данные. Ничего лишнего.

Comments

[Илья]

С чем именно бороться в scrapy? Ничего сложного, структурирование проекта организованно как в Django. Для Парсинга одной странички, смысла тспользовать scrapy и создавать целый проект действительно нет. А вот если нужно что-то посерьезнее, например каталог какой-то из десятка тысяч страниц, организовать его в бд.. Тут уже без фреймворка руками будет тяжелее и дольше. Дольше в плане времени работы программы. Scrapy основана на twisted, если я не ошибаюсь, а это дает ощутимый дуст к скорости при большом количестве страниц.

[kzlv]

Илья: Тут несколько моментов. Во-первых, я ненастоящий разработчик. Я вообще манагер, который очень интересуется программированием и решает некоторые утилитарные задачи на проекте в свободное время просто из интереса. Поэтому я могу чего-то не понимать, не знать и не уметь.
Моя задача: спарсить где-то сто тысяч страниц с одного сайта с неплохой защитой от дудоса.
Мои проблемы: очень ограниченная настройка прокси. По сути, можно задать адрес в настройках проекта и всё. А я вообще хотел бы ротировать их каждые пару минут, чтобы не подпадать под ограничения (а они там лютые вообще, удивлюсь, если живые пользователи не страдают).
Из этого вытекает вторая проблема, с капчей. Сколько я ни думал над структурой проекта, сколько ни искал советов на стэке, я так и не понял, как проще всего заставить скрэпи скачать картинку, остановить все запросы с этой прокси и запустить все запросы после того, как я сделаю пост-запрос с результатами картинки. Видимо, какими-то жуткими костылями. Ниасилил.

Я, в общем, решил сделать не так красиво, всё руками и на базе requests и lxml. Весь код — 120 строк, написан за пару часов. Работает в несколько потоков (все равно ETA увеличилось с 5-6 часов до целых суток), но зато всё очень прозрачно. Велосипед, да :)

Answer 6

[pq4r]

Beatiful Soup 4 (Python3)