Можно ли на scrapy сделать локальную копию сайта?

Да Вы правы, по большому счету должно получится что-то на подобии wget -r за исключением: асинхронности и связи с бд.

Как построить рекурсивную функцию?

То что нужно. А можно парочку вопросов в лс?