GeneralMops

В большинстве случаев urllib+lxml. Еще grab интересная штука.

Python + requests + beatysoup = в одном потоке может херачить примерно 10000 страниц за 15-20 минут.

Если прямо надо автоматизация, потоки и прочее - то уже scrappy

1) Самый крутой scrapy
2) Для любителей css query https://lxml.de/cssselect.html
3) Еще довольно мощный beautifulsoup