Парни стоит задача собрать все страницы сайта и со всех страниц ссылки на файлы(jpg,pdf,js) и прочее.
Любой из двух языков php/python.
Искал на github, решений куча, но их все придется переделать под себя.
А меня больше интересует вопрос, есть ли готовые решения, что бы не изобретать вой велосипед.
Самый простой вариант что я нашел это взять генератор sitemap и переделать под себя. Но уверен уже есть готовые варианты, просто не смог их найти.
Простой