Как получить полную страницу для парсинга?

Question

[Хиро Киригая]

Добрый вечер, пишу парсер на C#, но возникла проблема! Я парсить сайт http://web.archive.org/details/ССЫЛКА с помощью сохранение html

Использую библиотеку xNET

File.WriteAllText("test.html", response, Encoding.UTF8);

После открытие файла, нету вкладки Summary и других тоже. Чистая страница, хоть и указал в конце поиск на сайт. http://web.archive.org/details/ССЫЛКА(Поиск)

Что посоветуете новичку в парсинге?

Comments

[Алекс Глебов]

PhantomJS, Chrome headless, но это нода

Answer 1

[#]

осознать, что современные фреймворки фронтенда, предполагают выполнение массы кода js на стороне браузера. который, в свою очередь, может существенно менять дизайн, и докачивать значительную часть контента. в том числе стилей

надежнее автоматизировать браузеры. если вы опираетесь на C#, возможно, вам может быть полезен проект CEF# (на сколько помню, есть режим и оф-скрин рендеринга (экономия ресурсов) но целесообразно только когда уже "рука набита")

Comments

[Хиро Киригая]

А если создать WebBrowser, загрузить в него страницу, и взять оттуда html разметку. Тогда и js загрузится.

[#]

Даниил Набиулин, так об этом и речь. только если

WebBrowser

который

из коробки

это IE. а IE уже не все поддерживают (не все сайты)

но для тренировки можно начать с него. CEF# сложнее (по чесноку - я забросил в свое время, в виду отсутствия достаточной мотивации )). но все равно надо помнить - возможности IE гораздо скромнее

[#]

Даниил Набиулин, если требуемый сайт, достоверно корректно (ну или на визуальную оценку) отрабатывает в IE, да, можно спокойно начинать с встроенного WebBrowser (это явно WinForms, по тому что уже в WPF это WebView)... кажется я немного отстал от жизни ))) пара ссылок

https://blogs.windows.com/msedgedev/2018/05/09/mod...
https://docs.microsoft.com/en-us/windows/community...

надо учитывать, что часть инфы может быть актуальна только для вин10 (Edge browser engine)..
с другой стороны - эйдж модерновый, в основном поддерживаемый, мало того - движек будет заменен на движек хромиум, в течении полугода/года (подробности в поисковиах, самостоятельно плз )))

в любом случае, CEF# дает более детальный уровень доступа к движку браузера, чем любые "коробочные" варианты от МС

место для творчества, более чем достаточно )).. выбор за вами

ps Мир?

используйте чтото типа зеннопостер

инструменты подобного типа, решают только очень простые задачи. если задача решается - почему нет? это разумно )) .. но чаще нет, не решаются ))
.. но дальше только кодерский труд и разум ))

[#]

Даниил Набиулин, в копилку (да, я подвисал на данной тему ;))
https://bitbucket.org/geckofx/

недостатки:
- изрядно отстает от свежих релизов самого FF (а это дыры в безопасности, а так же слабое место, если целевые сайты используют приемы защиты от ботов)
- при всем уважении, и симпатии к FF, по ходу, его все таки выживают с рынка браузеров ((

[Мир]

#, это уже от человека зависит. Можно свои знания и время пустить на создание модулей к движку зенки, а можно на создание своего движка типа зенки и уже к нему потом модули пилить.
Инструменты не решают задачи, задачи решает человек. Поэтому всё восходит к цели которую он поставил.

Хоть я и не фанат зенки или сишарп, хочу отметить что те, кто владеют си шарпом, без труда модифицируют её под себя, там прям рай для шарпистов.

[#]

Мир,

Хоть я и не фанат зенки или сишарп, хочу отметить что те, кто владеют си шарпом, без труда модифицируют её под себя, там прям рай для шарпистов.

у меня поверхностное знакомство.. мы с клиентом (в свое время) не нашли решения для скролинга..

(справедливости ради - клиент не спешил вкладываться в исследования.. так что да, обзор был поверхностный ))

[#]

Мир, а еще - рукопашный кодинг всегда более трудоемкий. это однозначно. тут не поспоришь

Answer 2

[Мир]

А цель парсинга?
Парсинг сайтов с сильной завязкой на JS без выполнения JS - дело бесполезное.
Хотите денег парсингом заработать, используйте чтото типа зеннопостер.
Прогать научится с париснгом JS? движок V8 сильно упростит задачу.