Ошибка при большом числе исходящих HTTPS запросов?

Question

[Ильдар Гизетдинов]

Ошибка #1: TLS: Handshake timeout
Ошибка #2: write: broken pipe

Делается порядка 20к одновременных соединений

var HTTPClient = http.Client{
	Timeout: time.Duration(45 * time.Second),
}

func RequestLongPoll(url string) []byte {
	httpResponse, err := HTTPClient.Get(url)
	if err != nil || httpResponse == nil {
		fmt.Println(err.Error())

		return nil
	}

	defer httpResponse.Body.Close()
	bodyBuffer, err := ioutil.ReadAll(httpResponse.Body)
	if err != nil || bodyBuffer == nil {
		fmt.Println(err.Error())

		return nil
	}

	return bodyBuffer
}

Comments

[Ильдар Гизетдинов]

MS WIN,

Произвольная конфигурация
Процессор: 2 x Intel E5-2630v4 (10x2.20 ГГц HT)
Материнская плата: X10DRi
Корпус: 815TQ-563CB (1U)
Память: 128 ГБ — 8 x 16 ГБ DDR4 ECC Reg
PCIE карта: RAID контроллер 8 портов + Cache protection
Диск
2 x 4 ТБ SATA
2 x 800 ГБ SSD

серьезно?

[d'Ivan]

Ильдар Гизетдинов, ошибка в 17-й строке.

[Ильдар Гизетдинов]

MS WIN, или речь о принимающем запросы сервере?

[Ильдар Гизетдинов]

Роман Мирр, вы о чем?

[d'Ivan]

Ильдар Гизетдинов, о коде, которого нет.

[Ильдар Гизетдинов]

Роман Мирр, добавил код

[wmns]

Попробуйте OS потюнить.
https://stackoverflow.com/a/3923785/3980469

[Ильдар Гизетдинов]

wmns, к сожалению это не помогло

[d'Ivan]

Ильдар Гизетдинов, не разбираюсь в Го, но возможно неверно освобождаются ресурсы.

Answer 1

[qazar]

https://stackoverflow.com/questions/32523521/golan...

здесь есть способ увеличить TLSHandshakeTimeout

Comments

[Ильдар Гизетдинов]

Я воспользовался несколько иным способом

var HTTPClient = http.Client{
	Timeout: time.Duration(45 * time.Second),
	Transport: &http.Transport{
		TLSClientConfig: &tls.Config{
			InsecureSkipVerify: true,
			ClientSessionCache: tls.NewLRUClientSessionCache(25),
		},
		MaxIdleConnsPerHost: 2048,
	},
}

Answer 2

[Виталий Ф.]

Возможно у API ограничение кол-ва подключений с IP?

Comments

[Ильдар Гизетдинов]

Да, я тоже об этом думал, но казалось бы, возможно сброс тогда должен идти с более логичной ошибкой