Ivan Yakushenko, потому что bs — это говно. Вот прям говно-говно. Я тебе говорю, как страдавший раньше человек с 8 (восемь) парсерами в одном проекте, все из которых юзали bs. Он медленный, он синхронный, у него отвратительное API (это ключевое). Приходится строить города из индентаций, потому что этот чёрт просто не умеет в EAFP. Или городить свои недо-функции. Вот например, bs не умеет в xpath. Представляешь? Ключевой функционал любого HTML парсера отсутствует. Живи с этим.
В итоге, я оставил bs, но подкостылил его eventlet'ом и подключил парсер lxml. Но весь этот проект — сущий ад.
Scrapy позволяет параллелить и парсить быстро и без головной боли вообще.
В итоге, я оставил bs, но подкостылил его eventlet'ом и подключил парсер lxml. Но весь этот проект — сущий ад.
Scrapy позволяет параллелить и парсить быстро и без головной боли вообще.