Как сохранить HTML-страницу сгенерированную на JavaScript?

Question

[Андрей Шамов]

Встречаются страницы, на которых есть динамические части получаемые Ajax или попросту какими-то функция Javascript (например, шаблонизаторами).
Так вот как сохранить скомпилированную страницу, т.е. со всеми выполненными js-функциями? В случае с Ajax скачивание может происходить через некоторое время после загрузки DOM-модели.
Решение желательно на ЯВУ (лучше C#) или через консоль Windows/Linux.
Например, нужно скачать вот эту forexite: Календарь на неделю.

Comments

[Андрей Шамов]

нужно сохранить файл на диск для последующего анализа

Answer 1

[Stasik0]

Самый хакерский вариант — вбить javascript:alert(document.documentElement.innerHTML); в браузере… потом Ctrl+A ;)

а для сервера есть htmlunit.sourceforge.net/

Comments

[Андрей Шамов]

Спасибо. Думаю HTMLUnit то что надо.

[yesasha]

Извините, но как это сделать? Как можно в чужой код вставить javascript:alert ?

Answer 2

[web4_0]

Уточните вопрос: вам html сгенерённый нужно посмотреть или чтобы вот прям сохранить можно было на диск?

Если просто посмотреть, то в FF поможет выделение всей страницы с помощью Ctrl+A и далее в контекстном меню view Selection Source или можно даже установить WebDeveloper экстеншн, у него есть View Generated Source

Comments

[Андрей Шамов]

уточнил: нужно сохранить файл на диск. По поводу FF — спасибо.

Answer 3

[Ajex]

Загляните в этот топик, есть несколько ссылок по теме.
habrahabr.ru/blogs/webdev/87705/

Для явы смотрите в эту сторону: download.oracle.com/javase/6/docs/technotes/guides/scripting/programmer_guide/index.html

Comments

[Андрей Шамов]

Спасибо, посмотрю

Answer 4

[MT]

Firefox → Выделить всё (Ctrl+A) → Правый щелчок → Исходный код выделенного фрагмента

Comments

[MT]

(Впрочем, уже озвучено выше.)

[Дмитрий Яковенко]

Спасибо. Спас именно Firefox

[MT]

Дмитрий Яковенко, Сейчас имеет смысл использовать расширение Save Page WE — оно сохраняет всю страницу в текущем DOM-состоянии в едином HTML-файле вместе со всеми ресурсами (в том числе изображениями).

[Дмитрий Яковенко]

MT, Спасибо супер плагин. У меня проблема собственно была, что скачиваемая страница создается JS и я ни как не мог сделать, чтобы ссылки на картинки не изменялась. А это плагин Save Page WE картинки в тело документа кодирует, то есть проблем со ссылками на картинки вообще нет.

Answer 5

[Horse]

У меня тот же вопрос, но для анализа результатов выдачи Google.
Если дело в ajax и только — можно отсылать доп. запрос, и в респонсе получать сгенеренный
html…

P. S. догадываюсь, что на вопрос не ответил, но эта тема мне тоже интересна и я надеюсь, что на нее кто-то ответит поподробней.

Answer 6

[pietrovich]

на c#?
положи webBrowser на форму, прицепись на всякие обработчики загрузки, и выжидай пока не пройдет некоторое время с момента последнего срабатывания обработчиков загрузки. потом вытягивай innerHTML из document и сохраняй.

точнее не скажу, сейчас под рукой негде экспериментировать. знаю что ничего сложного в доступе к DOM через него нет, да и со слеением за процессами загрузки тоже проблем не было.

как вариант, если точно знаешь структуру сайта который будешь грабить можно подменить исходный HTML еще до рендеринга. в него вставить ссылку на свой JS в котором переопределяешь одну из оригинальных функций вызов которых можно считать маркером окончания загрузки. в переопределенных функциях вызываешь оригинальную а затем через window.external вызываешь метод контейнера(c#) который и сохранит все что нужно.

Comments

[pietrovich]

вот тут можно много интересного подсмотреть: www.codeproject.com/KB/miscctrl/csEXWB.aspx
а вообще погуглите «c# webforms objectforscripting»

Answer 7

[Дима]

phantomjs