Почему при попытке считать поток получаю исключение «System.Net.WebException: Время ожидания операции истекло»?

Question

[Николай Фомин]

Добрый вечер. Пытаюсь распрасить несколько страниц сайта, и после минуты работы приложения получаю исключение "System.Net.WebException: Время ожидания операции истекло". Запросы отправляются из 5-ти потоков к разным страницам. Вот код отправки запроса:

WebRequest request = WebRequest.Create(new Uri("http://site.com/page1.html"));
                request.Method = "GET";
                request.Timeout = 3600000;

                using (WebResponse response = request.GetResponse())
                {
                    using (Stream stream = response.GetResponseStream())
                    {
                        using (StreamReader reader = 
                                  new StreamReader(stream, Encoding.GetEncoding("windows-1251")))
                        {
                            string result = reader.ReadToEnd();
                        }
                    }
                }

Отладчик кидает на строку string result = reader.ReadToEnd();. Если убрать эту строчку, то приложение отлично работает.

Если оставить эту строчку, но сделать приложение однопоточным, то приложение тоже работает. Таймаут в час выставил уже в отчаянии. Не могу понять, в чем дело, ведь все неуправляемые ресурсы неявно освобождаются с помощью using, Помогите, пожалуйста, разобраться с проблемой.

Comments

[Алексей Немиро]

Причем тут локальные ресурсы, если истекло время ожидания ответа от сервера? Пять потоков в течение минуты - явно не несколько страниц будет. Сайт имет право затупить и не ответить. И защищаться от флуда тоже имеет право.

Или ваш парсер натыкается на бинарные данные большого размера и съедает всю память?

[Oxoron]

Алексей Немиро: Таймаут запроса - час. То есть, сервер может не отвечать крайне долго. Или должен кидать другую ошибку.

Николай Фомин Уточняющие вопросы.
1. Сколько выполняется один запрос в одном потоке? Падает ли исключение уже на двух потоках?
С асинхронным чтением ответов с соответствующими методами используется своя механика, скорее всего, не зря (см. ссылку ниже).
https://msdn.microsoft.com/ru-ru/library/system.ne...(v=vs.110).aspx

2. На SO рекомендуют использовать Connection.KeepAlive = true;
stackoverflow.com/questions/16744432/httpwebreques...
Скорее всего, поможет. Суть в том, что все Ваши реквесты могут обращаться к одному Connection. При этом, первый его создаст, откроет, скачает ответ, закроет, второй увидит, что Connection есть, попытается открыть, не сможет (ибо он уже закрыт), будет ждать. Логика может отличаться, это лишь мое предположение.

[Oxoron]

Пардон, ошибся. Использовать request.KeepAlive = true;

[Алексей Немиро]

Oxoron: другую, типа HTTP 408 Request Timeout :-)

[Oxoron]

Алексей Немиро: человек поставил 3600 с горя. Полагаю, один запрос на 100 (по умолчанию) выполнялся корректно. Да, при k параллельных запросах сервер может формировать ответ не k* секунд, a k**, но 3600 должно быть достаточно в любом случае. Отсюда, либо сервер вообще упал, либо должен возвращать ошибку типа BadRequest, Внутренняя ошибка сервера.

Сталкивался с похожей проблемой, при первом запуске программы один запрос проходил успешно, остальные (параллельные и последующие) падали.

[Oxoron]

Oxoron: Тостер съел теги. Имелось в виду "k*normalTime секунд, а k*normalTime*ConcurrencyCoefficient".