Как побороть timeout'ы на ровном месте в WebClient?

Question

[ATauenis]

Всем доброго %времясуток%! Есть программка, регулярно качающая файлы по HTTPS. Зачастую бывает, что по 20-30 штук сразу (мелкого объёма). Периодически часть запросов подвисает, и затем отваливается по таймауту. Заметил, что чаще всего зависания+таймауты приходятся на группы запросов, начавшихся в неудачное время +/- 10 сек.. Если перезапустить программу, сеть для неё оживает. Тоже самое, если подождать пару минут, и дать всем запросам оттаймаутиться. Потом всё нормально работает какое-то время, до повторения глюка.

Какие есть варианты, почему это происходит? Из браузеров, скайпа, иного сетевого ПО проблем никаких, сеть стабильна. Серверы тоже из другого софта отзываются всегда.

Обращения сделаны двумя способами.
1-й:

WebClient WC = new WebClient(); //not HttpClient because it's appear in .net 4.0
Exception WCerr = null;

WC.OpenReadAsync(new Uri(SrcUrl)); //not OpenReadTaskAsync for compatibility with WinXP
WC.OpenReadCompleted += (object sender, OpenReadCompletedEventArgs e) =>
{
if (e.Error != null) { WCerr = e.Error; return; }
if (ConvStdin is MemoryStream) ConvStdin = e.Result;
};
while (ConvStdin is MemoryStream && WCerr == null) { /*wait*/ }
if (WCerr != null) throw WCerr.InnerException ?? WCerr; //вот тут вылезает Timeout

2-й:

HttpWebRequest webRequest = (HttpWebRequest)WebRequest.Create(Host);
AddHeaders(Headers, webRequest); //моя функция, тут всё нормально
webRequest.Method = Method;
webRequest.AllowAutoRedirect = AllowAutoRedirect;
webRequest.CookieContainer = CC;
webRequest.ProtocolVersion = HttpVersion.Version11;
webRequest.KeepAlive = true;
webRequest.ServicePoint.Expect100Continue = false;

webResponse = (HttpWebResponse)webRequest.GetResponse(); //иногда лезет WebException, Timeout

Оба задолбали выкаблучиванием.

Answer 1

[Петр]

Вы наверное знаете, что существует лимит на кол-во подключений к одному хосту. По умолчанию 2 конекта для обычных приложений и 10 для приложений запущенных как ASP.NET host.
ServicePointManager.DefaultConnectionLimit

Comments

[ATauenis]

Поставил

ServicePointManager.DefaultConnectionLimit = int.MaxValue;

Не помогло.

Хосты как правило разные. Да, и если попробовать открыть те же 15-20 ссылок через браузер разом, все открываются.

[ATauenis]

Ещё иногда вылезает такая ошибка вместо таймаута:

System.IO.IOException: Аутентификация не пройдена из-за закрытия транспортного потока удаленной стороной.
в System.Net.Security.SslState.StartReadFrame(Byte[] buffer, Int32 readBytes, AsyncProtocolRequest asyncRequest)
в System.Net.Security.SslState.StartReceiveBlob(Byte[] buffer, AsyncProtocolRequest asyncRequest)
в System.Net.Security.SslState.ForceAuthentication(Boolean receiveFirst, Byte[] buffer, AsyncProtocolRequest asyncRequest)
в System.Net.Security.SslState.ProcessAuthentication(LazyAsyncResult lazyResult)
в System.Threading.ExecutionContext.RunInternal(ExecutionContext executionContext, ContextCallback callback, Object state, Boolean
preserveSyncCtx)
в System.Threading.ExecutionContext.Run(ExecutionContext executionContext, ContextCallback callback, Object state, Boolean preserveSyncCtx)
в System.Threading.ExecutionContext.Run(ExecutionContext executionContext, ContextCallback callback, Object state)
в System.Net.TlsStream.ProcessAuthentication(LazyAsyncResult result)
в System.Net.TlsStream.Write(Byte[] buffer, Int32 offset, Int32 size)
в System.Net.ConnectStream.WriteHeaders(Boolean async)

[Петр]

ATauenis, Устанавливать нужно ServicePoint.ConnectionLimit

[ATauenis]

Петр, добавил

ServicePointManager.FindServicePoint(new Uri(SrcUrl)).ConnectionLimit = int.MaxValue;
//либо
webRequest.ServicePoint.ConnectionLimit = int.MaxValue;

Пока, тьфу-тьфу, не было Timeout.

[ATauenis]

Петр, потестировал получше. Спасибо, действительно, версия с ServicePoint.ConnectionLimit = int.MaxValue больше не выдаёт таймауты там, где используется HttpWebRequest.

Участки кода с WebClient продолжают вылетать с исключением "Аутентификация не пройдена из-за закрытия транспортного потока удаленной стороной.". Костыль "ServicePointManager.FindServicePoint(new Uri(SrcUrl)).ConnectionLimit = int.MaxValue" не помогает с WebClient, но их не так сложно переписать на HttpWebRequest, так что не беда.

[Петр]

ATauenis, Для WebClient рекомендуется использовать httpClientFactory

Answer 2

[Александр Юдаков]

По окончании обработки HttpWebResponse нужно обязательно вызывать Dispose(), например, так:

using (var webResponse = (HttpWebResponse)webRequest.GetResponse())
{
    // обработка ответа
}

А задирать до небес ServicePoint.ConnectionLimit — это костыль.

Comments

[ATauenis]

А как-нибудь без using можно? Dispose у HttpWebRequest/WebRequest нет, при этом объект используется в куче функций, как переменная масштаба класса.

[Александр Юдаков]

ATauenis, Dispose() вызывать нужно не у запроса, а у ответа:
HttpWebResponse.Dispose().

Если не нравится using, можно так:

var webResponse = (HttpWebResponse)webRequest.GetResponse();
try
{
    // обработка ответа
} finally {
    webResponse.Dispose();
}

Что, по сути, то же самое.

[ATauenis]

Александр Юдаков, обработка ответа идёт во всём классе.
Другое дело, при многократных переписываниях допустил мешанину HttpWebResponse, HttpResponse, WebResponse и т.д., и вот сам HttpWebResponse недоступен. Переборщил с упрощением цитат для вопроса. :)

class Transit
	{
		//...
		HttpResponse response;
		//...
		public Transit(args)
		{
			//...
			response = https.GET(RequestURL.AbsoluteUri, new CookieContainer(), RequestHeaderCollection, RequestMethod, AllowAutoRedirect, BeginTime); //та самая функция с webRequest.GetResponse()
			//...
			//куча if, return, try...catch и т.д.
		}
		public void xxx(yyy)
		{
			//...
		}
		public int abc(def)
		{
			//...
			//например, здесь может использоваться response.Stream
			//...
		}
	}

Направление куда копать понял, но, похоже, придётся для начала ограничиться костылём... Вот сам проект с исходниками: https://github.com/atauenis/webone/