Почему не могу получить исходный код страницы?

Question

[Кирилл]

Добрый день.
Хотелось бы узнать почему этот код применим к habr, yandex и многим другим, но не хочет работать с asos, adidas

var url = "https://ya.ru/";
var HttpClient = new HttpClient();
var html = HttpClient.GetStringAsync(url);
Console.WriteLine(html.Result);

Что нужно применить или в какую сторону копать?

Comments

[АртемЪ]

Что именно вы понимаете под словом "не парсит"?
Не получаете исходный текст страницы, или получаете но не можете найти там то что вам нужно?

[Кирилл]

АртемЪ, не получает исходный код страницы

[АртемЪ]

Кирилл Беспалов, Ну тогда попробуйте User-Agent указать нормальный.

[Кирилл]

АртемЪ, спасибо, помогло, я указал

client.DefaultRequestHeaders.Add("User-Agent", "C# App");

[сергей кузьмин]

Кирилл, они там на стороне сервера ошалели увиде ваш юзер агент и решили "дать"

[Александр Юдаков]

сергей кузьмин, это простейший способ фильтрации ботов. Не указан агент — 100% бот, иди лесом. А вот уже отсекать ботов по белому списку агентов — дело безнадежное. По черному списку можно, по белому — нет. Поэтому совершенно правильно сервер делает: увидев незнакомого агента, отдаёт страницу.

Answer 1

[Hedy]

Потому что метод GetStringAsync - асинхронный.

Comments

[Qualiant]

Разницы особо нет. Асинхронный метод может быть вызван синхронно.

Это плохой пример использования, но тем не менее.

Answer 2

[Петр]

Потому, что на данных сайтах страница генериться javascript-ом.
И чтобы парсить нужно либо анализировать архитектуру сайта и пытаться получить именно данные с API (если они есть), либо применять браузеры, которые могут выполнять JS и уже из них получать страницу.

Comments

[АртемЪ]

Петр, Какая разница что чем генерится? Чтобы javascript-ом что-то там сгенерить, надо как минимум получить страницу.

[Петр]

АртемЪ, Получается не страница как таковая, а скрипт для ее генерации. А все это можно загружать и не через .NET код

[АртемЪ]

Петр, Ну у человека проблема не в том чтобы выдатащить данные из страницы, он страницу не мог получить с сервера.

Answer 3

[Alex XYZ]

Можно использовать cefsharp, чтобы инжектится в страницу с помощью c# и там уже ждать загрузки и срабатывания всех загрузочных скриптов. Если что, есть ещё cefsharp.offscreen (headless), если требуется запускать в качестве службы или в консоли.