Аналог wget с JavaScript, под Линукс?

Question

[0xC0CAC01A]

Нужно скачать страничку, которая генерируется JavaScriptом. Хочется одной линуксовой командой, что-то типа firefox --just-download-the-bloody-page https://foo.com/bar.html без геморроя с селениумом. Есть такое?

Comments

[сергей кузьмин]

про геморрой подробнее пожалуйста
сабж все равно должен быть либо настоящий браузер (хром управляется папетером без селениума https://www.browserstack.com/guide/puppeteer-vs-se... но это помоему менять шило на мыло
или же
всевозможные самогонные javascript фреймворки с гитхаба но по моему опыту от них ненамного меньше оверхед чем у селениума а фичи поддерживаются только частично

[shurshur]

Если нужен отрендеренный DOM страницы, то его в общем случае нельзя получить без полноценного браузера с js (хотя бы в headless-режиме). Причём сложно сказать в общем случае, в какой момент страницу можно считать "загруженной целиком". Ведь она, например, может подгружаться по мере прокрутки или при нажатии на какие-то элементы. Можно, конечно, ждать 5 секунд и сохранять всё, что сохранилось в DOM, но результат негарантирован. Для нормального использования придётся использовать selenium и учитывать конкретные особенности этого сайта.

Если нужно полноценную страницу с её поведением и оформлением (css, скрипты), то wget умеет их загружать, но только в том случае, если они непосредственно указаны в link- и javascript-тэгах. Если они подгружаются каким-то сложносочинённым кодом (как сейчас модно), то wget тут справиться не может в принципе. Можно самостоятельно изучить код сайта или происходящее в консоли браузера и на этом основании вычислить, что именно скачать вместе с самой страницей, но это тоже индивидуальная работа с конкретным сайтом.

Answer 1

[Владимир Куц]

npm install nightmare

browser.js

let url = process.argv[2]
var Nightmare = require('nightmare');
var nightmare = Nightmare({show: false,webPreferences: {}})

nightmare
 .goto(url)
 .viewport(1600, 900)
 .wait(5000)
 .evaluate(function() {
     return document.documentElement.innerHTML;
 })
 .end()
 .then(res => {console.log(res)});

node browser.js https://google.com