Что использовать для парсинга динамической веб страницы на C#?

Question

[algotrader2013]

Добрый день

Безрезультатно пытаюсь парсить динамическую Web страницу средствами .Net. То есть, передо мной стоит, казалось бы, очень простая задача. Мне надо зайти на сайт с динамической страницей, и запрашивать актуальный html код раз в секунду. Но:

Встроенный WebBrowser имеет проблемы с отображением страниц с java скриптами. Со сторонними библиотеками ничего тоже сделать не выходит.

Пробовал https://github.com/webkitdotnet/webkitdotnet
но, похоже, в нем так и не получить актуальный html код динамической страницы.

Также пробовал GeckoFx
но при попытке работы с библиотекой происходит ошибка Additional information: Cannot call Navigate() before the window handle is created, а форум техподдержки уже несколько лет, как исчез.

Прошу подсказать, с чего начать. Может, есть хорошая статья на эту тему

Answer 1

[Kano]

Можете попробовать вот такую связку www.andykelk.net/tech/headless-browser-testing-wit...

Comments

[algotrader2013]

спасибо. В ближайшее время попробую, отпишусь о результате.

[algotrader2013]

проверил. Именно то, что нужно

Answer 2

[Андрей]

Здравствуйте, awesomium, хорошая альтернатива стандартному webBrowser, webkitdotnet, GeckoFx. проект основан на chromium. Так же была информация о нем тут habrahabr.ru

Comments

[algotrader2013]

спасибо, посмотрю.

Answer 3

[AxisPod]

А зачем вам html, это плохое решение. Доступ к DOM дереву у вас есть, пользуйтесь.

Comments

[algotrader2013]

к примеру, я хочу все логгировать, что бы в случае сбоя можно было вопроизвести ситуацию.