Руслан Кусманов

Python + requests + beatysoup = в одном потоке может херачить примерно 10000 страниц за 15-20 минут.

Если прямо надо автоматизация, потоки и прочее - то уже scrappy