В зависимости от сложности задачи, желания ковыряться, и умения в окружающие технологии, можно предложить кучу вариантов, от банальных менеджеров закачек, типа wget:
wget -r -k -l 7 -p -E -nc http://site.com/
до тяжелых и умеющих всякое библиотек и целых фреймворков типа
scrapy
Гуглить по словам «
web crawler»
