Как спарсить весь html код — C#?

Question

[iXelper]

Нужно спарсить html код со страницы с помощью элемента webBrowser.
Есть страница со списком, НО ПРОГРУЖАЕТСЯ ОНА ПОСТЕПЕННО.
Вопрос: как спарсить весь html контент и достать до последнего элемента списка?

Comments

[Артем]

В смысле - постепенно? При скролле вниз подгружается доп. контент, типа как на пикабу?

[iXelper]

Артем, так точно)

[Артем]

Если для парсинга юзаете webBrowser (что является крайне неудачной практикой) - то нужно программно скроллить до конца, а затем разбирать ответ.

[iXelper]

Артем, а что посоветуете на замену ? И обязательно скролить до конца, как нибудь сразу нельзя ?

[Артем]

На замену - что угодно, например HttpClient.
Скроллить до конца обязательно - вы же не знаете, когда закончится контент?
С обертками типа HttpClient нужно сначала отснифать трафик, понять, как меняется запрос при подгрузке контента, а затем его эмулировать.

[Артем]

Вот, например, https://youtu.be/EelmnSzykyI

[iXelper]

Артем, не совсем понял суть видео, как это связано с c# ?))

[Артем]

iXelper, никак. Это просто иллюстрация подхода.
В целом всё гуглится по запросу типа "how to web scrape infinity pages c#"

[iXelper]

Артем, хорошо, буду копать в эту сторону. Спасибо за ответы

Answer 1

[Илья]

Метод 1. Качественно, но сложно.
Подгрузка контента происходит обычно GET-запросами с параметрами, где указаны параметры сколько статей с начала пропустить и по сколько получать. В ответе обычно прилетает готовый HTML код, который просто встраивается в страницу и его спокойно можно распарсить.
Вектор для изучения:

• WebClient, HttpClient и т.п. - для формирования запросов
  
• Консоль разработчика браузера (Shift+Ctrl+i, вкладка Network) и Fiddler - для изучения поведения страницы и вылавливания содержимого запроса
  

Метод 2. Быстро и без заморочек.
Взять Selenium + Chrome (для наглядности), открывать в них страницу и эмулировать стандартными средствами либо нажатие кнопки (например, "Показать ещё"), либо нажатие пробела (пролистывает страницу вниз). Время от времени проверять используя XPath достигнуто ли дно.
Вектор для изучения:

• Selenium - статей полно
  
• XPath - язык запросов к XML подобной разметке
  

Оба пути очень доступные в изучении.