Как парсить число из HTML с помощью C#?

Question

[Алексей Смирнов]

Здравствуйте.

На данном сайте: ММВБ
указан объём сделок "147 354 466 820" в рублях. Мне необходимо спарсить это число. Как это можно сделать на языке C#?
P.S. Стоит учесть, что при нажатии комбинации клавиш Ctrl+U в любом браузере это число не отображается в HTML коде.

Comments

[eRKa]

Чем парсишь, в чем именно проблема получить число? В инструментах браузера это число отображается, если текст есть, то и забрать его не должно быть проблем.

[Алексей Смирнов]

Я раньше парсил при помощи HTML Agillity Pack. Я сначала скачивал весь HTML код, который отображается при нажатии Ctrl+U в браузере, и потом этот код обрабатывал у себя на компьютере.
Что касается HTML кода, который в браузере можно увидеть через щёлканье правой клавишей мыши и выбора пункта контекстного меню "Исследовать элемент" (или нажатием Ctrl+Shft+C ), то этот код у меня ещё ни разу не получалось скачать. Я просто не знаю как это можно сделать.

[eRKa]

Алексей Смирнов, проблема в невыполнении js скриптов при получении страницы таким способом.

Answer 1

[eRKa]

Это ангуляровская страница и значение является биндигом, которое для получения результата может например делать еще какой то запрос. Вообщем, если Вы получаете страницу запросом через HtmlClient (ну или RestSharp), то Вы получите страницу с неотработанными js скриптами, они то должны выполниться на стороне клиента в браузере после загрузки страницы. Поэтому Вы получите {{column.getValue(item)}}, но если этот результат получит браузер, то он выполнит скрипты и там будет значение.
В общем решением может быть грузить страницу, например через Selenium (WebDriver) или через Phantom и уже с них доставать значение.

Вот еще есть вариант. Я так не пробовал, но пишут, что так можно запустить js код, попробуйте.

Comments

[Роман]

А нафига такие сложности, там есть WebAPI, можно сразу в JSON получать данные и не париться.

[eRKa]

Роман, если бы он хотел пользоваться WebAPI, наверное так и сделал бы. Но в вопрос был про парсинг.

[Роман]

eRKa, смысл достать цифры, нафига сложности. Просто ТС видимо ещё осваивается и скачать страницу и найти нужное, первое, что придет в голову новичку.

Answer 2

[Роман]

Это SPA приложение на ангуляре, по любому есть WebAPI через которое берутся данные, консоль разработчика в руки и смотрим сетевые запросы и ответы. потом просто сами шлем запросы и нефиг парсить. А еще я там нашел такие ссылочки "Скачать XML", "Скачать CSV". эти форматы парсить в разы проще, чем тащить в проект Selenium и парсить HTML.

Comments

[Алексей Смирнов]

"А еще я там нашел такие ссылочки "Скачать XML", "Скачать CSV". эти форматы парсить в разы проще, чем тащить в проект Selenium и парсить HTML." - таким способом мне будет неудобно брать данные из каждой страницы. Просто мне нужно парсить данные из множества разных страниц на этом сайте.

А что касается способа "консоль разработчика в руки и смотрим сетевые запросы и ответы. потом просто сами шлем запросы", то он мне интересен. А вы не подскажете где или как можно найти в интернете уроки на эту тему?
Я просто полазил в консоли разработчика в Firefox и не нашёл там запроса, который нужно посылать серверу для получения нужных мне данных.

[Алексей Смирнов]

Хотя я нашёл нужные мне данные вот здесь:
https://iss.moex.com/iss/history/engines/currency/...
Теперь мне нужно разобраться как их получить от сюда.

[Алексей Смирнов]

Алексей Смирнов, Нашёл я это в браузере Firefox -> Исследовать элемент -> Отладчик -> iss.moex.com -> securities.jsonp.