Из кода на C#, нужно спарсить url XHR запросов на сайте те что находятся в панели разработчика во вкладке Network-Fetch/XHR. Как осуществить?

Question

[HamaVari]

Из кода на C# нужно спарсить с сайта ссылки на XHR те что находятся в панели разработчика во вкладке Network-Fetch/XHR. Какие способы и библиотеки лучше задействовать чтобы было как можно оптимальней решена данная задача? Знаю что можно воспользовать Selenium, но хочу знать как и какие еще есть способы?

Comments

[twobomb]

Даже не знаю, поможет ли тут Selenuim.
Эти ссылки обычно вызываются из скрипта и там они тоже могут находится не в явном виде, а формироваться в зависимости от условий и сценария использования. Все ссылки думаю никак не получится найти.
Хорошо если через селениум хотя-бы получится получить ссылки по которым сайт обращается по onload, а то может и это не получится, нужно пробовать.

[HamaVari]

twobomb, Вот мне надо получать все url XHR запросов на сайте. Я это имею ввиду, надеюсь меня правильно поняли

[HamaVari]

twobomb, Они появляются сразу после загрузки и перезагрузки страницы сайта автоматически.

[сергей кузьмин]

HamaVari, Selenium 4 через DEvTools API умеет это делать

у меня примеры есть но на жаве не на шарпе
https://github.com/sergueik/selenium_cdp/blob/mast...

[HamaVari]

сергей кузьмин, Та я над этим DevTools API уже целый день сижу, не могу понять как это сделать. Мне постоянно какие то исключения выкидывает. Вот нашел типо перехватчик такой вот https://github.com/SeleniumHQ/seleniumhq.github.io..., но и с перехватчиком у меня проблемы.

[сергей кузьмин]

HamaVari, переходите на жаву и работающиц пример я показал
там кстати в README.md он же упомянут
https://github.com/sergueik/selenium_cdp

день это помоему мало
посвятите пару месяцев и

[HamaVari]

сергей кузьмин,

using OpenQA.Selenium;
using OpenQA.Selenium.Chrome;

class Program
{
    static void Main(string[] args)
    {
        var options = new ChromeOptions();
        options.AddArgument("--start-maximized");
        IWebDriver driver = new ChromeDriver(options);

        var xhrUrls = new List<string>();
        var handler = new NetworkRequestHandler();
        
        handler.RequestMatcher = httprequest =>
        {
            if (httprequest.Url.Contains(".fpm4") || httprequest.Url.Contains(".m4a"))
            {
                xhrUrls.Add(httprequest.Url);
            }
            return true;
        };

        INetwork networkInterceptor = driver.Manage().Network;
        networkInterceptor.AddRequestHandler(handler);

        networkInterceptor.StartMonitoring();
        driver.Navigate().GoToUrl("https://store.epicgames.com/en-US/p/tunche");
        driver.Manage().Timeouts().PageLoad = TimeSpan.FromSeconds(30);
        networkInterceptor.StopMonitoring();

        foreach (var url in xhrUrls)
        {
            Console.WriteLine(url);
        }

        driver.Quit();
    }
}

- Вот в чем может быть проблема? Может просто сам сайт типо блочит?Включает защиту?Не может такого быть?

[сергей кузьмин]

спасибо за пример

включить не забыли ? я не смотрел что networkInterceptor.StartMonitoring(); делает

@Before
	public void beforeTest() throws Exception {

		List<RequestPattern> reqPattern = new ArrayList<>();
		RequestPattern xhrReqPattern = new RequestPattern(Optional.of("*"),
				Optional.of(ResourceType.XHR), Optional.of(RequestStage.RESPONSE));

		reqPattern.add(xhrReqPattern);
		chromeDevTools
				.send(Fetch.enable(Optional.of(reqPattern), Optional.of(false)));
	}

* https://chromedevtools.github.io/devtools-protocol...
* https://chromedevtools.github.io/devtools-protocol...
* https://chromedevtools.github.io/devtools-protocol...
* https://chromedevtools.github.io/devtools-protocol...
* https://chromedevtools.github.io/devtools-protocol...

кстати прокет полностью покажите какая дот нет и т.д.

[HamaVari]

сергей кузьмин,

[HamaVari]

сергей кузьмин,

<Project Sdk="Microsoft.NET.Sdk">

  <PropertyGroup>
    <OutputType>Exe</OutputType>
    <TargetFramework>net6.0</TargetFramework>
    <ImplicitUsings>enable</ImplicitUsings>
    <Nullable>enable</Nullable>
  </PropertyGroup>

  <ItemGroup>
    <PackageReference Include="FFMpegCore" Version="5.1.0" />
    <PackageReference Include="Selenium.WebDriver" Version="4.8.2" />
    <PackageReference Include="Selenium.WebDriver.ChromeDriver" Version="111.0.5563.6400" />
  </ItemGroup>

</Project>

[HamaVari]

сергей кузьмин, метод INetwork.StartMonitoring() запускает мониторинг сети, как я понимаю судя из ГитХаба который я скинул по созданию перехватчика.

[сергей кузьмин]

HamaVari, создайте или склонируйте работоспособный проект а лучще даже с докер образом чтоб можно было посмотреть кому интересно и дайте ссылки

и опишите задачу чтобы можно было ее же попробовать на жаве

[HamaVari]

сергей кузьмин, Если бы я его нашел, этот работоспособный проект. Все что работоспособное написано почему то на жаве, питоне. Либо то что есть на C# это проекты 2-5 летней давности. С того момента библиотека Selenium.WebDriver уже перетерпела много изменений. Все что я нашел это Network перехватчик в виде последнего метода на этом гитхаб: https://github.com/SeleniumHQ/seleniumhq.github.io...

[HamaVari]

сергей кузьмин, Задача простая, надо просто получить url ссылки на XHR те что находятся в Network с форматами fmp4 и m4a с этой страницы сайта: https://store.epicgames.com/en-US/p/tunche.

[HamaVari]

сергей кузьмин, вот так это делается вручную, надо сделать это прямо из кода на C#

[сергей кузьмин]

спасибо репозиторий делайте рабочий если хотите чтоб вам кто нибудь помог
колбеки задача вообще то непростая да еще шарп это доп гол боль

[HamaVari]

сергей кузьмин,

using OpenQA.Selenium;
using OpenQA.Selenium.Chrome;

class Program
{
    static void Main(string[] args)
    {
        var options = new ChromeOptions();
        options.AddArgument("--start-maximized");
        IWebDriver driver = new ChromeDriver(options);

        var xhrUrls = new List<string>();
        var handler = new NetworkRequestHandler();
        handler.RequestTransformer = (request) => { return request; };
        handler.RequestMatcher = httprequest =>
        {
            if (httprequest.Method == "GET" && (httprequest.Url.Contains(".fpm4") || httprequest.Url.Contains(".m4a")))
            {
                xhrUrls.Add(httprequest.Url);
            }
            return true;
        };

        INetwork networkInterceptor = driver.Manage().Network;
        networkInterceptor.AddRequestHandler(handler);

        networkInterceptor.StartMonitoring();

        driver.Navigate().GoToUrl("https://store.epicgames.com/en-US/p/tunche");

        driver.Manage().Timeouts().PageLoad = TimeSpan.FromSeconds(30);

        networkInterceptor.StopMonitoring();

        foreach (var url in xhrUrls)
        {
            Console.WriteLine(url);
        }

        driver.Quit();
    }
}

- вот такой код запускается, но выдает исключение: Unhandled exception. OpenQA.Selenium.DevTools.CommandResponseException: Fetch.continueRequest: Invalid parameters - Failed to deserialize params.postData - BINDINGS: invalid base64 string at position 152
at OpenQA.Selenium.DevTools.DevToolsSession.SendCommand(String commandName, JToken commandParameters, CancellationToken cancellationToken, Nullable`1 millisecondsTimeout, Boolean throwExceptionIfResponseNotReceived)
at OpenQA.Selenium.DevTools.DevToolsSession.SendCommand[TCommand,TCommandResponse](TCommand command, CancellationToken cancellationToken, Nullable`1 millisecondsTimeout, Boolean throwExceptionIfResponseNotReceived)
at OpenQA.Selenium.DevTools.V111.Fetch.FetchAdapter.ContinueRequest(ContinueRequestCommandSettings command, CancellationToken cancellationToken, Nullable`1 millisecondsTimeout, Boolean throwExceptionIfResponseNotReceived)
at OpenQA.Selenium.DevTools.V111.V111Network.ContinueRequest(HttpRequestData requestData)
at OpenQA.Selenium.NetworkManager.OnRequestPaused(Object sender, RequestPausedEventArgs e)
at System.Threading.Tasks.Task.<>c.b__128_1(Object state)
at System.Threading.QueueUserWorkItemCallbackDefaultContext.Execute()
at System.Threading.ThreadPoolWorkQueue.Dispatch()
at System.Threading.PortableThreadPool.WorkerThread.WorkerThreadStart()
at System.Threading.Thread.StartCallback()

[сергей кузьмин]

HamaVari, вы предлагаете мне за вас отлаживать программу ? ошибка стандартная и легко ищется лечится

[HamaVari]

сергей кузьмин, Я уже решил) я переписал код. Все работает)

[сергей кузьмин]

я попробую будет ли работать с .net framework 4.8
nuget пишет что ассембли поддерживает
https://www.nuget.org/packages/Selenium.WebDriver

Answer 1

[HamaVari]

Я разобрался сам, по этому если кому то пригодится, вот код который выводит из вкладки Network ссылки на XHR запросы, а так же ccылки на js, css и т.д.

using OpenQA.Selenium;
using OpenQA.Selenium.Chrome;
using OpenQA.Selenium.DevTools;

class Program
{
    static void Main(string[] args)
    {
        var options = new ChromeOptions();
        options.AddArgument("--start-maximized");
        IWebDriver driver = new ChromeDriver(options);

        var xhrUrls = new List<string>();
        var handler = new NetworkRequestHandler();
        handler.RequestTransformer = (request) => { return request; };
        handler.RequestMatcher = httprequest =>
        {
            xhrUrls.Add(httprequest.Url);
            return false;
        };

        INetwork networkInterceptor = driver.Manage().Network;
        networkInterceptor.AddRequestHandler(handler);

        networkInterceptor.StartMonitoring();

        driver.Navigate().GoToUrl("https://store.epicgames.com/en-US/p/tunche");

        driver.Manage().Timeouts().PageLoad = TimeSpan.FromSeconds(30);

        networkInterceptor.StopMonitoring();

        foreach (var url in xhrUrls)
        {
            Console.WriteLine(url);
        }

        driver.Quit();
    }
}

Answer 2

[Владимир Шаблий]

Собственно больше ничего...
Можно разве что немного сократить путь и задействовать chromedriver напрямую или web-сокетами общаться через remote-debugging порт. Но в этом нет особого смысла, т.к. Selenium - уже готовая обертка.

Comments

[HamaVari]

Вот мне надо получать все url XHR запросов на сайте. Я это имею ввиду, надеюсь меня правильно поняли

[HamaVari]

Они появляются сразу после загрузки и перезагрузки страницы сайта автоматически.

[Владимир Шаблий]

HamaVari, поняли правильно. Ответили)

[HamaVari]

Владимир Шаблий, А есть документация(желательно на русском) или какие методы использовать? А то я не бум бум в Selenium.

[Владимир Шаблий]

HamaVari, попробуйте погуглить с сочетанием "selenium devtools". Первые 2..3 результата выдачи)