Как из браузера выгрузить всю страницу целиком?

Question

[luaPower]

Как известно, многие сайты ставят защиту на сохранение своих страниц стандартными средствами браузера (save page as). В таких случаях на помощь приходит панель разработчика и копирование всего содержимого тегов body или html. Но даже в этом случае почему-то не всегда удается получить весь контент страницы. Приходится пробираться через всю структуру html, отыскивая нужную таблицу и копируя ее вручную.

Может кто-нибудь объяснить, почему так получается? Ведь контент подгружен в браузер и доступен для визуального восприятия.

Но мой основной вопрос о другом. Какие посоветуете инструменты или средства для выгрузки целиком всей страницы, отображаемой браузером? Может быть есть какие-то плагины или это можно сделать с помощью JavaScript? Я не силен в последнем, поэтому буду признателен хотя бы за наводку (куда смотреть, что подучить для реализации поставленной задачи).

Comments

[Модератор]

Не надо ставить как можно больше тэгов. Лучше оставить один, но конкретный, с которым проблема.
См.п.3.1 Регламента. Также обратите внимание на п.3.4

Answer 1

[hint000]

Затруднение связано с тем, что часть контента может генерироваться при исполнении JavaScript. И защита от копирования\сохранения реализована через JavaScript. Если отключить выполнение скриптов, то защита не будет работать, но тогда и часть контента не будет сгенерирована. Так что уже требуется разбираться в коде и выборочно отключать конкретные куски кода. И даже это не гарантирует успех во всех случаях. Если разработчик сильно заморочился на защите (такое встречается редко), то вам придётся ещё сильнее заморочиться на обходе защиты. Если нужен только контент, видимый глазом, то иногда проще будет сделать скриншот и прогнать его через OCR, чем тратить время на разборки с кодом.

Answer 2

[ST4NN]

Для сохранения динамических страниц, модифицированных скриптами, есть расширения, названные по мотивам "single file / save page" или сходно. Например, это - имеет много настроек

Answer 3

[CityCat4]

Давно прошли те времена, когда при открытии страницы на нее разом выгружались все данные. Сейчас все страницы, интересные для парсинга генерятся динамически - открыл страницу - а там куча белых пятен, которые жжжж... и заполнились!