Можно ли на scrapy сделать локальную копию сайта?

Question

[rbvadik]

Подходит ли scrapy для мирроринга? Как можно сохранять html файлы?

Answer 1

[Александр Мелеховец]

wget -r не подходит?

Comments

[rbvadik]

Да Вы правы, по большому счету должно получится что-то на подобии wget -r за исключением: асинхронности и связи с бд.