Как проксировать websocket не упираясь в пределы tcp?

Question

[Андрей Пушкин]

Задумал написать балансировщик для ws соединений, но понимаю, что упираюсь в ограничение TCP протокола на 65535 (и того меньше) портов на исходящие запросы.
Как быть в данной ситуации? Вижу, что есть ws прокси на nginx, но я скорее для понимания принципов работы

Comments

[Everything_is_bad]

понимаю, что упираюсь в ограничение TCP протокола на 65535

откуда такое понимание? с чего ты это решил? на что ты хочешь каждый порт тратить?

[Андрей Пушкин]

Everything_is_bad, мне видится, что прокси должен так работать:
1. Фронт делает запрос на ws к прокси
2. Прокси отвечает нам, что соединение ws установлено
3. Далее, прокси открывает ws соединение с конечной точкой (здесь как раз мы расходуем один tcp порт) и проксирует трафик от фронта в конечную точку

[Everything_is_bad]

Андрей Пушкин, а что именно находится на конечной точке? почему их вдруг потребовалось такое количество?

[Андрей Пушкин]

Everything_is_bad, в конце, условно, находятся три ноды по 100к чатов, сбалансированных. Вот и балансер нужен для того, чтобы входящего пользователя проксировать на нужную ноду, где крутится его чат.

[Everything_is_bad]

Андрей Пушкин, три ноды - три порта

[Андрей Пушкин]

Everything_is_bad, тогда получается, что мы через одно соединение с нодой будем гонять сообщения со 100к чатов, звучит не очень

[Everything_is_bad]

Андрей Пушкин, так может надо начать мерить не "100к чатами", а реальной нагрузкой? а то может оказаться что для "1кк чатов" и балансировка не нужна

Answer 1

[VoidVolker]

Проксируется в целом ровно точно так же, как и любая сетевая нагрузка: клиенты [n] -> балансер -> сервера [m]. Лимит портов в 65к достаточно просто преодолевается путем добавления дополнительных сетевых адаптеров/каналов.
Дополнительные ссылки:
https://unetworkingab.medium.com/millions-of-activ...
https://blog.postman.com/postman-engineering-milli...
https://serverfault.com/questions/725224/how-to-ha...
https://josephmate.github.io/2022-04-14-max-connec...
https://github.com/eranyanay/1m-go-websockets
https://github.com/ramsicandra/1million-ws

Кроме того, WS коннекты можно балансировать как HTTP - банальным редиректом на прямой коннект к серверу. Т.е. клиент коннектится к балансеру, а он ему говорит: "а теперь тебе вот сюда коннектится надо". Или можно совмещать. Пару слов про проксирование WS в nginx: в сети пишут, что nginx с этим плохо справляется под существенной нагрузкой и лучше всего проксировать WS через специализированные прокси типа HAProxy.

Comments

[Андрей Пушкин]

О, мне кажется редирект это то, на что мне стоит обратить внимание

[VoidVolker]

Андрей Пушкин, я на уровне протокола реализовываю отдельный метод для редиректа текущего клиента на другой сервер или на балансировщик, в т.ч. на стороне сервера. Просто потому что это все равно нужно, например, для оповещения клиента при отключении или перезагрузке сервера - чтобы не закрывать коннект внезапно, а на стороне клиента не гадать - чего это сервер отрубился?

Answer 2

[ky0]

Нет никакого ограничения в 65К портов. При трекинге TCP-потоков используется связка "src ip:port - dst ip:port".

Comments

[Андрей Пушкин]

Это на входящие соединения, да, ограничено сокетами и ограничениями системы, а на исходящие же не так

[ky0]

Андрей Пушкин, с исходящими то же самое. Утрируя - вы с каждым IP-адресом можете установить 65К одновременных TCP-соединений.

[Александр Павлюк]

Андрей Пушкин, вы же можете мультиплексировать сколько угодно входящих соединений в одно исходящее, если воспринимать их не как коннекты, а как поток событий.