Как скачать страницу из командной строки под линукс?

Question

[0xC0CAC01A]

Wget - не годится.
lynx -dump www.foo.com/bar.html > result.html - не годится.
А вот Firefox, Хром или любой другой бразуер с JavaScript - да, но они почему-то не умеют в -dump

EDIT: Без горожения огорода с Селениумом. Просто командная строка.

Comments

[Aragorn]

Почему wget не годится?

[0xC0CAC01A]

Потому что сайт хочет JavaScript

[сергей кузьмин]

0xC0CAC01A, программу напишите и выполните хром haadless если есть умение программы для selenium писать

Answer 1

[Владимир Коротенко]

Тащено отсюда
https://stackoverflow.com/questions/15323476/open-...

самое оптимальное мне показалось вот это

from selenium import webdriver

driver = webdriver.Chrome('/path/to/chromedriver')  # Optional argument, if not specified will search path.
driver.get('http://www.google.com/');
html = driver.page_source
f = open("myhtml", "wt")
f.write(html)
f.close()

Comments

[0xC0CAC01A]

Хотелось бы без горожения огорода с Селениумом. Просто командная строка.

[shurshur]

0xC0CAC01A, это НЕВОЗМОЖНО, так как в любом случае потребуется выполнить javascript, а он требует в качестве контекста браузерные структуры, DOM итд, которых без полноценного браузера практически нереально имитировать.

Либо вручную разбираться в структуре конкретного сайта, то есть писать полноценный парсер.

Answer 2

[rPman]

У javascript генерированных страниц не существует стандарта, определяющего момент, когда можно считать что страница загрузилась (там могут быть анимации например а тк же контент может подгружаться по мере скролирования или перемещения мышкой)

Универсального инструмента нет, но в частных случаях можно написать приложение, использующее headless браузер и какое то закодированное условие окончания загрузки (таймаут например) и формат, в котором сохранять страницу (например картинка, или pdf, или html дамп,..)
p.s. когда то давно я писал приложение на visual studio .net c# использующее стандартный компонент WebBrowser (это древний internet explorer, поддерживается до сих пор), так вот при запуске его в linux mono, подставляется headless firefox

приложение это выглядело как форма, на которую кидаешь компоненту браузера, дальше 1 строчка прописать адрес странице, еще пара строк на регистрацию колбека на окончание загрузки, и пара строк сохранения,... приложение пишется за 2 минуты

Comments

[0xC0CAC01A]

Хотелось бы без горожения огорода с Селениумом. Просто командная строка.

[rPman]

Прочитай внимательно мой ответ, мой вариант проще selenium в разы. Реально писать считанные десяток другой строчек, и все они относятся к сохранению результата и логике определения конца загрузки.

з.ы.

Если Вы не готовы учится этому сами, без платного учителя, то программирование, скорее всего, "не ваше", вам тут будет тягостно. Ищите себя в чём-то другом.