Пробовал всякие scrapy и прочие "фреймворки для парсинга", но приходилось с ними много бороться. В итоге пришел к написанию собственной утилиты. Построено поверх requests + lxml: первым делаешь запросы, вторым — с помощью селектора XPath забираешь данные. Ничего лишнего.
С чем именно бороться в scrapy? Ничего сложного, структурирование проекта организованно как в Django. Для Парсинга одной странички, смысла тспользовать scrapy и создавать целый проект действительно нет. А вот если нужно что-то посерьезнее, например каталог какой-то из десятка тысяч страниц, организовать его в бд.. Тут уже без фреймворка руками будет тяжелее и дольше. Дольше в плане времени работы программы. Scrapy основана на twisted, если я не ошибаюсь, а это дает ощутимый дуст к скорости при большом количестве страниц.
Илья: Тут несколько моментов. Во-первых, я ненастоящий разработчик. Я вообще манагер, который очень интересуется программированием и решает некоторые утилитарные задачи на проекте в свободное время просто из интереса. Поэтому я могу чего-то не понимать, не знать и не уметь.
Моя задача: спарсить где-то сто тысяч страниц с одного сайта с неплохой защитой от дудоса.
Мои проблемы: очень ограниченная настройка прокси. По сути, можно задать адрес в настройках проекта и всё. А я вообще хотел бы ротировать их каждые пару минут, чтобы не подпадать под ограничения (а они там лютые вообще, удивлюсь, если живые пользователи не страдают).
Из этого вытекает вторая проблема, с капчей. Сколько я ни думал над структурой проекта, сколько ни искал советов на стэке, я так и не понял, как проще всего заставить скрэпи скачать картинку, остановить все запросы с этой прокси и запустить все запросы после того, как я сделаю пост-запрос с результатами картинки. Видимо, какими-то жуткими костылями. Ниасилил.
Я, в общем, решил сделать не так красиво, всё руками и на базе requests и lxml. Весь код — 120 строк, написан за пару часов. Работает в несколько потоков (все равно ETA увеличилось с 5-6 часов до целых суток), но зато всё очень прозрачно. Велосипед, да :)
Сложный
