В чем смысл фреймворка Scrapy?

Question

[Сергей Карбивничий]

Никогда не пользовался данным фреймворком. В чем его смысл. Читал несколько обзоров, но так и не понял, в чём его преимущество и для чего он нужен(нет внятных статей). Вот есть requests и BS4(например). С помощью первой - получаем страницу, с помощью второй - парсим эту страницу. А что делает Scrapy?

Answer 1

[Ivan Yakushenko]

Автоматизация процесса парсинга. Вместо того, что бы самому писать логику многопоточности, перехода по страницам, обработку/хранение данных и прочее, можно использовать Scrapy, который деляет это все из коробки.