Где ошибка в коде?

Question

[HamaVari]

XPath запрос вроде правильный, не могу понять причину ошибки.. Выдает ошибку System.NullReferenceException: Object reference not set to an instance of an object. Тег h1 не вытаскивается из html документа.

Вот код:

using System;
using HtmlAgilityPack;

public class Program
{
    public static void Main(string[] args)
    {
        var html = @"https://store.epicgames.com/ru/free-games";

        HtmlWeb web = new HtmlWeb();

        var htmlDoc = web.Load(html);

        var node = htmlDoc.DocumentNode.SelectSingleNode("/html/body/div[1]/div/div[4]/main/div[3]/div/div/div/div/div[1]/span/div/div/div/div/div/h1");

        Console.WriteLine(node.InnerText);
    }
    
}

Comments

[VoidVolker]

Где именно возникает? Кроме того, причина же четко написано - что конкретно не понятно?

[HamaVari]

VoidVolker, Возникает при вызове метода WriteLine, я понимаю что нету объекта, но причина? Почему его нет? Я же вроде правильно указал XPath запрос, почему тег h1 не вытаскивается с html документа? Почему там null?

[Sergey В.]

Если проверить node на null, то станет ясно - найдена такая нода или нет.
Разумеется у null объекта нет свойства InnerText
Сам xPath можно проверить в браузере (в режиме разработчика)

[HamaVari]

Sergey В., Я скопировал именно этот xPath из браузера в режиме разработчика, почему нода не найдена то..

[Василий Банников]

HamaVari, может эта нода появляется после работы какого-то js?

[сергей кузьмин]

HamaVari, xpath чудовищный - лечите

[HamaVari]

Василий Банников, Как это проверить и что делать в такой ситуации? Воспользоваться Selenium вместо HtmlAgilityPack?

[HamaVari]

сергей кузьмин, Я просто скопировал full XPath из режима разработчика, я пытался менять его и упрощать, но все равно не находит h1 :(

[Василий Банников]

HamaVari, проверить - посмотри какой html тебе приходит.
Вылечить - возьми playwright

[Sergey В.]

HamaVari, выведите полученный html в консоль и проверьте - есть ли там искомая нода. И лучше не писать такой длинный путь, а привязываться к нодам, имеющим id и уже от них идти к нужной ноде.

[сергей кузьмин]

бесплатные игры нельзя через HtmlAgilityPack.HtmlWeb
посмотрите что он вам возращает

MixedCodeDocument Members
Save(String)
Saves the mixed document to the specified file.



если помогло - я положу в ответы вы отметите решением

[сергей кузьмин]

учите селениум. и кстати давайте скопирую объяснение выше в ответ а вы отметите решением - в рамках HtmlAgilityPack это все что можно сделать

т.к. заголовки он не умеет слать

[HamaVari]

сергей кузьмин, Я вообщем нашел в XHR в режиме разработчика нужные данные)) Все оказалось гораздо проще чем я думал). Закиньте в ответы, я отмечу решением, то что вы выше написали.

Answer 1

[сергей кузьмин]

HtmlAgilityPack.HtmlWeb не получает страницу видимую в браузере потому что он не передает нужные заголовки и не умеет javascript
сохранив то что пришло из url
видим что искать там нечего