Как скачивать сайты с минимальными «повреждениями» внешнего вида, используя PHP?

Question

[Mark]

Необходима возможность выкачивать сайты с минимальными потерями внешнего вида(*), при этом полноценное функционирование не очень важно.

Вопрос не касается каких-то конкретных сайтов, а любых. Понятно же, что более-менее полноценную выкачку любого сайта организовать сложно, но хочется хотя бы повысить процент таковых.

Вопрос:
1. Если решения, которые уже решают проблемы внешнего вида и качественной выкачки?
Типичный пример: если src вмещает в себе относительный путь - подгружать домен.
2. Есть ли вещи, на которые стоит сразу обратить внимание, при разработке подобного решения?

Важный критерий: необходимо чтобы решение было "одним файлом". То есть, не качало дополнительные CSS, JS на сервер. Например, чтобы подставляло ссылки с сайта-донора, либо добавляло код прямо в тело документа(пример: обнаруживаем подключение CSS=>Выкачиваем код=>Помещаем в тело документа между=>Затираем подключение.

P.S.
Тэг base раньше серьёзно помогал в данном вопросе, но сейчас нет возможности его применять.

* - дабы загружась файлы, которые нужны для отображения страницы HTML. Пример: изображения, стили.
Т.е. чтобы не было большое визуальное отличие от оригинала(было схожее на ~70-80%)

Answer 1

[Андрей Гаврилов]

Wget

Comments

[Mark]

Андрей, извините, забыл внести важную коррективу - обновил вопрос, и уточнил по поводу wget в первом комментарии ответа Nazar Tertyshnyi

[nokimaro]

Mark, wget вполне подходит для таких целей
в том числе может скачать ресурсы которые подключаются извне (c cdn) и переписать src/href где это нужно.
посмотрите вот этот gist с примером и разъяснением всех ключей
https://gist.github.com/mikecrittenden/fe02c59fed1...

Answer 2

[Adamos]

Если сайт активно использует ajax или вообще построен на React/Vue/etc - хрен вы "выкачаете" его контент, не эмулируя браузер.
Впрочем, вопросы с терминологией "потери внешнего вида" - это к авгурам.

Comments

[Mark]

Понятно же, что более-менее полноценную выкачку любого сайта организовать сложно, но хочется хотя бы повысить процент таковых.

[Adamos]

Mark, конкретизировав проблемы "нетаковых", вы уже решите половину проблемы.

[Mark]

Adamos, по поводу внешнего вида - внес уточнение. Просто необходимо отображение схожее с оригиналом. То есть, чтобы корректно отображался текст, изображения и т.д. Некорректное отображение часто обусловленно например теми проблемами, которые Вы описали в своём ответе.

Но нет цели чтобы корректным отображался прямо каждый сайт, если 7 из 10 будут на 70-80% схожи с оригиналом - будет отлично. А выборка в плане сайтов разная - страницы веб-магазинов, лендинги, и т.д.

[Adamos]

Mark, например, Тостер тянет с CDN шрифты для отображения. Вы их как-то собрались встраивать в один документ? И графику тоже? Удачи...
Современные магазины, если они чего-то стоят, явно не мучают статические страницы и подгружают контент динамично, предлагая фильтры и ориентируясь на запрос, по которому попал пользователь. Опять мимо.
На лендингах в последнее время очень любят делать простынку с ленивой подгрузкой. И снова мимо.
7 из 10? Да щас. Это было возможно в пору молодости интернета...