@kos_dev

В чем проблема при скачивании веб страницы и как ее решить?

Здравствуйте, пытаюсь спарсить информацию с HTML документа, вот адресс: https://youhack.ru/forums/51/ с помощью метода WebClient.DownloadString();
Вот мой код:
WebClient webClient = new WebClient();
String response;

response = webClient.DownloadString("https://youhack.ru/forums/51/");
document.Text = response;
string pattern = @"data.previewUrl..threads.[0-9]+.preview..\w{0,70}\W{0,70}" + searchTextBox.Text + "\\w{0,70}\\W{0,70}";
Regex rgx = new Regex(pattern);
int count = 0; 
foreach (Match match in rgx.Matches(response))
{
     count++;
     resultTextBox.Text += "youhack.ru/" + match.Value.ToString().Substring(17, 14) + Environment.NewLine;
     resultsMatched.Text = count.ToString();
}


Мне же вместо веб страницы с данного адреса вылетает вот такая страница:
<html><head></head><body><script>var xmlhttp = new XMLHttpRequest();function 
eraseCookieFromAllPaths(name) { var pathBits = location.pathname.split("/");var pathCurrent = " path=";
document.cookie = name + "=; 
expires=Thu, 01-Jan-1970 00:00:01 GMT;";
for (var i = 0; i < pathBits.length; i++) {pathCurrent += ((pathCurrent.substr(-1) != "/") ? "/" : "") + pathBits[i];document.cookie = name + "=;
 expires=Thu, 01-Jan-1970 00:00:01 GMT;"
 + pathCurrent + ";";}}
eraseCookieFromAllPaths("BHC");
xmlhttp.onreadystatechange=function() { 
if (xmlhttp.readyState==4 && xmlhttp.status==200) { var a=xmlhttp.responseText;document.cookie="BHC="+a+";
 path=/";
document.location.href="/forums/51/"; } };
xmlhttp.open("GET", "/banhammer/pid", true);xmlhttp.send();</script></body></html>


Я не совсем понял, но мне кажется, что дело в куки файлах, подскажите, как быть, как обойти эту проблему?
  • Вопрос задан
  • 217 просмотров
Пригласить эксперта
Ответы на вопрос 1
teke_teke
@teke_teke
programador
по идее, она будет иногда вылетать, даже если вы с браузера будете заходить, потому что это какой-то механизм этого сайта. поэтолму никак. или проверяйте, что это она она и делайте новый запрос.
Ответ написан
Комментировать
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Похожие вопросы