HTTP request C# .NET?

Question

[verych]

Использую HTTP request для получения страничек сайтов.

Что-то типа этого:

…

HttpWebRequest request = WebRequest.Create(Url) as HttpWebRequest;

…

HttpWebResponse response = request.GetResponse() as HttpWebResponse;

...

Иногда всё работает как часы, но порою бывает так что страничка размером несколько КБ не грузится… просто висит, и в итоге всё сваливается по таймауту.


Внимание! Вопрос:

Почему когда я включаю прозрачный прокси на локалхосте все лаги исчезают? Простой пример такой прокси — fiddler (он же HTTP сниффер).


Если выключаю проксю — эти лаги моментально возвращаются.

Comments

[verych]

UPD
установил клиента i2p и попробовал через его прокси — 127.0.0.1:4444. Также замечательно работает как и через фиддлер.

[verych]

UPD
Проблемма решена.

Проанализировав все факторы, я сразу исключил вунешнюю среду (DNS, обрывы инета, и даже прокси).
В итоге я пришел к выводу, что проблемма в моём коде. Когда, проверив сто первый раз, все ли потоки, ридеры и респонзы закрыты, расставив везде try/finnaly я было отчаялся… мне на глаза попался вызов старой забытой функции, которой я перед тем как получать контент определял MIME странички.
Вот тут я и нашел мой незакрытый респонз.

Спасибо всем, ибо помогли исключить море вариантов и направили меня в нужное русло.
Отдельное спасибо пользователю lavel — он был ближе всех к истине.

Answer 1

[bigbaraboom]

Смотрите в чем различие заголовков. Больше тут ничего сказать нельзя.

Comments

[verych]

Если вы имеете в виду HTTP заголовки, тогда скажу сразу: они одинаковые.
Прокси — прозрачный.

Answer 2

[bigbaraboom]

Тогда только последний вариант это то что прокси — кэширует и поэтому лагов нет. Если ваш прокси прозрачен, то по сути в прямом соеденении или через него разницы нет, остается только кэш.

Answer 3

[pennanth]

Если компилируете (в студии или без), то лаги могут быть из-за файерволла, т.к. он определяет, что новая программа ломится в интернет.

Через прокси — все OK, т.к. прокси-программа все та же самая, и правила файерволл использует те же, что и раньше.

Answer 4

[vbarhatov]

Не возлагайте столь большие надежды на fiddler, он иногда очень странно работает. У меня однажды после нормального завершения fiddler'a перестала работать моя прога, хотя компилил заново и запускал под студией и без нее. Все разрешилось только при последующем запуске фидлера.

А падение по таймауту нормально. Все равно эти эксепшны нужно ловить, и отправлять запрос повторно. Только не делайте бесконечный цикл, все равно нужно ограничивать количество попыток подключения.

Comments

[vbarhatov]

PS: Недавно столкнулся с проблемой, что при авторизации на сайте и последующем получении инфы прога не получала ответ на второй запрос. При этом в пошаговом исполнении все отлично работало, а когда просто запускаешь, в половине случаев ответ не приходил.

Ответ крылся в том, что слишком быстро отправлялись запросы и сервер не успевал реагировать на авторизацию. Вставил задержку, все полетело.

Фидлер, кстати, тоже задержку дает.

Answer 5

[mxc]

У меня была подобная проблема, после 2 дней разборов оказалось что нарушена некая последовательность запросов, т.е. перед выполнением нужного Request'a было необходимо ещё выполнить пустой POST на некую страничку.

Answer 6

[verych]

Скомпилил в релиз.
Создал правило для Фаервола.
Ничего не помогло.
Всё также всё прекрасно работает со вклюсеным фиддлером, и всё так же таймаутит без него.

Прокси не кэширует, это по сути сниффер, ему кэшировать ни к чему.

ЗЫ
Проверял на 3-х компах (рабочий, домашний, удаленный сервер за кордоном)

Может проблемма в самом HttpWebRequest?

Comments

[pietrovich]

а с DNSами проблем нет?

Answer 7

[verych]

Точно нет.
Это исключено фактами проверок в 3-х разны местах.
Да и вообще никогда не замечал косяков.

Answer 8

[lavel]

Если происходит большое количество запросов, то возможно есть проблема в транспортном уровне. По умолчанию для приложение доступно 2 физических подключения (если Windows 7 или 2008 R2 — можно увидеть их в ресурс-мониторе). Решается это установкой в конфиге или в коде ServicePoint.ConnectionLimit

Comments

[verych]

Запросов много, но последовательно и с задержками, дабы не нагружать сервер.
Думаю это не при чём.

[lavel]

Это легко проверить — просто укажите свойство равное, например, 10.