Как вытягивать сайты?

Question

[an]

Как правильно вытягивать морды сайтов?
Раньше как то через wget качало более менее нормально
сейча какой сайт не пробую, тянет абсолютные пути со своего домена в исходник, так же скрипты, картинки и пр.
приходится руками всю лабуду перебирать в исходнике

Comments

[Gregoriy]

опцию --convert-links в wget пробовали?

[an]

s1s4dm1n, нет, спасибо
буду смотреть

[Сергей delphinpro]

an, там овердофига опций у wget
Вы в следующий раз поищите нужную, прежде чем задавать вопрос...

[an]

Сергей delphinpro, да искал, вводил различные параметры
либо ошибки выдает, либо то же самое
он то есть скачивает индексный файл в котором все вписано на внешний ресурс
т.к ни картинки фоновые ни скрипты не тянет

вот сами возьмите попробуйте напр. этот сайт

даю
wget -r -k -l 7 -p -E -nc https://intro.havah.io

вот все что wget скачивает


хотя там изображений, стилей,скриптов должно быть туча

полагаю что на большинстве сайтов какая то защита от wget стоит

[an]

an, а вот если взять напр такой сайт
качается нормально

Answer 1

[Алексей Пьянов]

Современные сайты сейчас в основном - не просто html-странички, а приложения на javascript. Всё делается через него - подгрузка ресурсов, отображение контента и т. д. А качалки типа wget его обрабатывать не умеют, поэтому ничего и не скачивается, кроме практически пустого index.html с сообщением "включите javascript".

Чтобы нормально что-то скачать с современных сайтов, нужно автоматизировать работу через браузер. Например, chrome может работать в headless режиме и по запросу сохранять отображение страниц, уже прогнав на них javascript. Кажется, даже были какие-то обёртки, которые эти возможности используют.