Использую HTTP request для получения страничек сайтов.
Что-то типа этого:
…
HttpWebRequest request = WebRequest.Create(Url) as HttpWebRequest;
…
HttpWebResponse response = request.GetResponse() as HttpWebResponse;
...
Иногда всё работает как часы, но порою бывает так что страничка размером несколько КБ не грузится… просто висит, и в итоге всё сваливается по таймауту.
Внимание! Вопрос:
Почему когда я включаю прозрачный прокси на локалхосте все лаги исчезают? Простой пример такой прокси — fiddler (он же HTTP сниффер).
Если выключаю проксю — эти лаги моментально возвращаются.
Проанализировав все факторы, я сразу исключил вунешнюю среду (DNS, обрывы инета, и даже прокси).
В итоге я пришел к выводу, что проблемма в моём коде. Когда, проверив сто первый раз, все ли потоки, ридеры и респонзы закрыты, расставив везде try/finnaly я было отчаялся… мне на глаза попался вызов старой забытой функции, которой я перед тем как получать контент определял MIME странички.
Вот тут я и нашел мой незакрытый респонз.
Спасибо всем, ибо помогли исключить море вариантов и направили меня в нужное русло.
Отдельное спасибо пользователю lavel — он был ближе всех к истине.
Тогда только последний вариант это то что прокси — кэширует и поэтому лагов нет. Если ваш прокси прозрачен, то по сути в прямом соеденении или через него разницы нет, остается только кэш.
Не возлагайте столь большие надежды на fiddler, он иногда очень странно работает. У меня однажды после нормального завершения fiddler'a перестала работать моя прога, хотя компилил заново и запускал под студией и без нее. Все разрешилось только при последующем запуске фидлера.
А падение по таймауту нормально. Все равно эти эксепшны нужно ловить, и отправлять запрос повторно. Только не делайте бесконечный цикл, все равно нужно ограничивать количество попыток подключения.
PS: Недавно столкнулся с проблемой, что при авторизации на сайте и последующем получении инфы прога не получала ответ на второй запрос. При этом в пошаговом исполнении все отлично работало, а когда просто запускаешь, в половине случаев ответ не приходил.
Ответ крылся в том, что слишком быстро отправлялись запросы и сервер не успевал реагировать на авторизацию. Вставил задержку, все полетело.
У меня была подобная проблема, после 2 дней разборов оказалось что нарушена некая последовательность запросов, т.е. перед выполнением нужного Request'a было необходимо ещё выполнить пустой POST на некую страничку.
Скомпилил в релиз.
Создал правило для Фаервола.
Ничего не помогло.
Всё также всё прекрасно работает со вклюсеным фиддлером, и всё так же таймаутит без него.
Прокси не кэширует, это по сути сниффер, ему кэшировать ни к чему.
ЗЫ
Проверял на 3-х компах (рабочий, домашний, удаленный сервер за кордоном)
Если происходит большое количество запросов, то возможно есть проблема в транспортном уровне. По умолчанию для приложение доступно 2 физических подключения (если Windows 7 или 2008 R2 — можно увидеть их в ресурс-мониторе). Решается это установкой в конфиге или в коде ServicePoint.ConnectionLimit
Сложный
Простой
