Как получить HTML код после полной загрузки страницы с выполненными скриптами?

Question

[Алексей Смирнов]

Я хочу получить полный HTML код web-страницы (после полной загрузки страницы и выполнения всех скриптов).

Для этого я, например, применяю Selenium:

using OpenQA.Selenium;
using OpenQA.Selenium.Firefox;
using OpenQA.Selenium.Chrome;

string url = @"https://gorzdrav.spb.ru/signup/free/#%5B%7B%22district%22%3A3%7D%2C%7B%22clinic%22%3A512%7D%2C%7B%22speciality%22%3A23%7D%2C%7B%22doctor%22%3A%22%D0%BF116.346%22%7D%5D";

var driver = new ChromeDriver();
// var driver = new FirefoxDriver();
driver.Navigate().GoToUrl(url);
System.Threading.Thread.Sleep(10000);
string pageSource = driver.PageSource;

Console.WriteLine(pageSource);
Console.ReadLine();

Но после выполнения C# кода, я в консоли получаю "статичный" HTML код (как после нажатия клавиш Ctrl+U на web-странице).

Что я делаю не так?

P.S. Я готов использовать любую программную библиотеку под C#, не обязательно Selenium.

Comments

[Denis Gaydak]

а что вы понимаете под "полный HTML код web-страницы" ??
код скриптов? или код , который на сервере формирует вам эту страницу??

HTML код (как после нажатия клавиш Ctrl+U на web-странице) - это и есть максимум который вы можете получить, не имея доступа к серверу саита/приложения.

[Толстый Лорри]

Что я делаю не так?

Скачиваете PageSource, когда вас должно интересовать текущее состояние DOM.

Решение в лоб: взять найти элемент html и для него (через js) взять outerHTML:

var js = ( IJavascriptExecutor ) Driver;
var pageSource = (string) js.ExecuteScript( "return document.children[0].outerHTML;" );

[Алексей Смирнов]

Denis Gaydak, Я имею ввиду, код, который я получаю в браузере после нажатия клавиш Ctrl+Shift+C (в Opera) или Ctrl+Shift+I (в Chrome).

[Denis Gaydak]

судя по ссылке вы к примеру хотели получить список больниц к примеру, и он появляется только когда выберешь регион.
можете как бы кликнуть (как понимаю через код, это прекрасно делается судя по примерам с саита селениума)
на нужный элемент. тогда на странице и появятся данные о больницах. и так далее..

видать именно это вы имели в виду под "выполненными" скриптами)

[Алексей Смирнов]

Толстый Лорри, Странно, я в вашем случае почему-то вовсе никакого кода в консоли не получаю.

var js = (IJavaScriptExecutor)driver;
var pageSource = (string)js.ExecuteScript("document.children[0].outerHTML");

[Толстый Лорри]

Алексей Смирнов, "return document.children[0].outerHTML;"

[Алексей Смирнов]

Толстый Лорри, Теперь получил HTML код. Но только он по-моему тот же самый, что и был при выполнении кода (описанного в моём вопросе):

var driver = new ChromeDriver();
driver.Navigate().GoToUrl(url);
string pageSource = driver.PageSource;

[Толстый Лорри]

Алексей Смирнов, видимо, никакие скрипты у вас не отрабатывают. Судя по коду - у вас страница еще прогружаться не успевает, не то, что скрипты запуститься.