Как получить офлайн-копию современного сайта?

Question

[Андрей ZH]

В эпоху статических веб-сайтов, я получал их офлайн-копии с помощью программы Teleport Pro. Современные сайты используют JS, который динамически обновляет DOM с помощью AJAX. Соответственно, старые инструменты вроде Teleport Pro, HTTrack, Offline Explorer и т. п. — уже неактуальны.
Какие инструменты можно использовать сегодня, чтобы получать полные копии динамических сайтов (с авторизацией и без)?

Answer 1

[Q Q]

npm i website-scraper website-scraper-puppeteer

const scrape = require('website-scraper');
const PuppeteerPlugin = require('website-scraper-puppeteer');

scrape({
    urls: ['https://www.instagram.com/gopro/'],
    directory: '/path/to/save',
    plugins: [ new PuppeteerPlugin() ]
});

И любой React, Angular и прочие динамические сайты будут в папке.

Comments

[Андрей ZH]

Спасибо! Это как раз то, что нужно.

Answer 2

[Boris Köln]

Как получить копию чертежа современного вооружения?

В эпоху "почтовых ящиков" я получал их копии с помощью микрофотоаппарата. Современные конструкторские бюро используют доступ по биометрии, обыскивают и изымают шпионское оборудование, шифруют данные. Соответственно, старые инструменты вроде подделки документов на пишущей машинке, пленочные фотоаппараты и т.п. уже не актуальны.
Какие инструменты можно использовать сегодня, чтобы получать копии современной военной техники (с вооружением и без)?

Comments

[Рональд Макдональд]

Как получить копию чертежа современного вооружения? В эпоху "почтовых ящиков" я получал их копии с помощью микрофотоаппарата.

Почему-то хохотал в голосину.
Ничего личного.

[Zettabyte]

Как получить копию чертежа современного вооружения?

Метафора в целом ещё куда ни шло, но здесь малоприменима.

Вопрос-то о полностью доступной в целом информации, которую сложнее стало "извлечь из контекста".

[vaservaser]

Рональд Макдональд, а я не хохотал в голосину

[Boris Köln]

Zettabyte, HTML/JS/CSS ("вооружение") доступны, скрипты бэкенда ("чертежи вооружения") - нет.

[Zettabyte]

Boris Korobkov, А как же они недоступные выполняются-то в браузере тогда?

Или вы отвечаете на вопрос, полагая, что автор хочет получить, например, копию Фэйсбука с потрохами?
И раньше вытягивал Телепортом, например, Digg с исходниками?

[Константин Цветков]

Zettabyte, Они не выполняются в браузере. Они выполняются на сервере.

[Андрей ZH]

Boris Korobkov, меня как раз мало интересуют backend-скрипты. Я бы вполне удовлетворился работой инструмента, который через frontend прокраулит ресурс и вернет динамический контент в статическом формате.

Ваша метафора говорит о процессе получения оригинала (чертежи позволят воспроизводить оригинальное вооружение), а мне нужна реплика, стереотип, а не технология воспроизводства оригинала.

Answer 3

[sim3x]

Можно попробовать https://github.com/gildas-lormeau/SingleFile

Если требуется сохранить динамичность SPA, то скорее никак не сделать

Answer 4

[profesor08]

В браузере жми ctrl + s, сохранит все, включает ajax контент, но чтоб посмотреть сайт на локалке, понадобится запустить вебсервер в корне сайта, чтоб скаченный ajax контент подгружался на странице.

Еще есть phantomjs, selenium, там можно автоматизировать действия, по сути эмуляция работы браузера и взаимодействия пользователя. После выкачки понадобится вебсервер.