Парсер всех страниц сайта и ссылок на php/python?

Question

[Кирилл Горелов]

Парни стоит задача собрать все страницы сайта и со всех страниц ссылки на файлы(jpg,pdf,js) и прочее.
Любой из двух языков php/python.
Искал на github, решений куча, но их все придется переделать под себя.
А меня больше интересует вопрос, есть ли готовые решения, что бы не изобретать вой велосипед.
Самый простой вариант что я нашел это взять генератор sitemap и переделать под себя. Но уверен уже есть готовые варианты, просто не смог их найти.

Answer 1

[Dimonchik]

scrapy

ничего лучше не придумали