Как написать парсер всех файлов на сайте?

Question

[Yaroslav]

Как написать парсер всех файлов на сайте? Что бы был поиск как html страниц так и css, js и картинок в тех папках которые они находятся на сайте, и последующее сохранение файлов на локальный диск в той иерархии как на сайте? Использовать готовые программы по типу WebCopy, не имеет смысла. Хочу разобрать в этом вопросе. Не прошу писать программу. Может у кого-то есть примеры или исходники? Буду признателен.

Comments

[twobomb]

Да как, никак.
Можешь парсить всё ссылки, качать ресурсы, переходить по другим найденным ссылкам этого сайта и там делать тоже самое. Естественно исключая уже проверенные\скачанные ссылки. Только это не гарантирует нахождение всех файлов и всех ссылок.

[Myclass]

воровать - так себе бизнес-идея.

[Yaroslav]

Myclass, использование только в учебных целях

Answer 1

[freeExec]

Загрузить у сайта Sitemap и пройтись по нему скачивая всё.

Comments

[Yaroslav]

А если нет на сайте sitemap.xml?

[freeExec]

Yaroslav, значит сам его строишь начиная с главной страницы

Answer 2

[Griboks]

Хотите действительно разобраться? Никак, это невозможно. Современные сервера имеют защиту, а также роутер. Иными словами, вы можете скачать только то, что вам разрешит скачать сервер.

А как же кеш? А вот кеш скачать вполне реально, но нужно обойти защиту.

Comments

[Yaroslav]

Если это не возможно, то как насчёт таких программ как Cyotek WebCopy или расширения WebScrapBook?

[Yaroslav]

Я активно пользуюсь этими софтами, но в данном случае, есть желание разработать свою версию.

[Griboks]

Yaroslav, они скачивают частично, только по разрешению сервера.

[Yaroslav]

Griboks, ну я и имею ввиду парсинг только клиентской части.

[Griboks]

Yaroslav, так вы и так загружаете клиентскую часть на клиента. Просто сохраните загруженную страницу со всеми загруженными ресурсами.