Какой connection pool использовать?

Question

[Ivan Shalganov]

На hightload проекте используется fasthttp. Всё хорошо, но у него нет пула коннектов (не путать с sync.Pool) что приводит к следующей проблеме: когда сервер надо перезапустить надо ждать пока все idle keep-alive коннекты сами не закроются.

По SLA (требование) на сервисе idle keep-alive коннекта - 1 минута. Как результат - безопасная перезагрузка сервера занимает 1 минуту. Также надо "проряжать" коннекты по требованию - отстреливать только keep-alive которые в idle.

У родного net/http есть пул коннектов на основе map. Однако map плохо работает с GC, об этом писали как-то раз ребята из Discord, да и сам автор fasthttp нелестно отзывается о map как о не дружелюбном к GC объекте. То есть пул коннектов нужен не на базе map, а, видимо, на неком списке.

С ходу не нашел каких либо реализаций пул коннектов. Нашел абстрактный go-commons-pool для любых объектов.

Кто-то заморачивался с пулом коннектов? Можете что-нибудь посоветовать?

PS сам автор fasthttp рекомендует выставить ReadTimeout чтобы завершать keep-alive , но изменение ReadTimeout не применяется уже на существующие idle keep-alive коннекты.

Comments

[Евгений Самсонов]

Не совсем понял, как связано безопасное завершение и пул коннектов. sync.Pool из стандартной библиотеки не подойдет? https://golang.org/src/sync/pool.go и пул коннектов реализовать самим

[Ivan Shalganov]

Евгений Самсонов, подразумевается не пул памяти, а пул коннектов.
Проблема в том что при использовании fasthttp на руках нет списка текущих коннектов, совсем. И вызов fasthttp.Shutdown() тупо ждёт пока все коннекты сами не закроются. И ждать приходится пока у всех idle коннектов не сработает ReadTimeout (1 минута). Пока ждёшь прилетают другие запросы в idle коннекты, которые не будут отвечены ибо shutdown уже в процессе . Иначе никак - списка коннектов нет, и его не получить. Они живы только из-за того сам дескриптор системы их удерживает (имеет ссылку).

То есть по сути хочется при fasthttp.Shutdown() сделать что-то вида

for _, con := range connectionsPool {
    con.Close()
}

Сам вопрос что может выступать в качестве connectionsPool? О родном net/http и проблемах map я уже рассказал.

[Евгений Самсонов]

Ivan Shalganov, так, нужен получается не pool а тупо список с коннектами, чтобы из перебрать и обработать?

[Ivan Shalganov]

Евгений Самсонов, да именуемый connection pool в миру (не путать с sync.Pool)

[Евгений Самсонов]

Ivan Shalganov, идея pool (и connection тоже) в том, чтобы забрать объект из пула, поюзать и вернуть обратно, когда он не нужен. То есть в пуле не будет тех коннектов, которые используются уже сейчас. Вы же хотите получить ссылки на все существующие коннекты.

[Ivan Shalganov]

Евгений Самсонов, только на idle которые как раз и должны быть положены в pool так как не используются. Рассмотрим штатный keep-alive на http/1.1+: запрос завершился, коннект жив и убивать его не надо еще 1 минуту (idle timeout). Коннект кладётся в пул как не нужный, но сам коннект еще живой. При приходе очередного http запроса по коннекту он изымается из пула.
И вот когда надо прикончить сервер, бежишь по пулу idle (не нужных) и "отстреливаешь" коннекты, всё просто.

Это с пулом. А без пула появляются они - баги и попаболь. Так как idle коннекта на руках нету и дотянутся до него нет возможности то при shutdown закрыть его нет возможности - коннекты живы, здравствуют и, что паршиво, принимают запросы. НО клиенты/браузеры не в курсе что у тебя shutdown - они шлют запрос в keep-alive idle коннект.
И тут выходит что у нас вроде как shutdown, но по коннектам прилетают запросы.

Тут 2 пути и оба стрёмные: обрабатывать и оттягивать время shutdown сервера еще сильнее, либо забить на них и ответит в стиле 500 или тупо порвать соединение (при событии на коннекте срабатывает коллбек у net/http или fasthttp в котором можно их "прибить").

Answer 1

[uvelichitel]

Используйте https://golang.org/pkg/context/

Comments

[Ivan Shalganov]

Как это может помочь? Коннектов-то "на руках" нету