Ровно через 10 минут отваливаются клиенты websocket проксированный через nginx?

Question

[Алеша]

Есть websocket сервер который проксируется через nginx.
Клиент подключается, первые 10 минут все нормально, ровно через 10 минут клиент шлет сообщения - сервер не реагирует (должен послать ответ, но до сервера сообщения по всей видимости так и не доходят). Клиент безответно шлет еще несколько сообщений и отрубается, переподключается и опять все нормально работает, через 10 минут то же самое.

location / {
proxy_pass http://websocket;
proxy_http_version 1.1;
proxy_set_header Upgrade $http_upgrade;
proxy_set_header Connection $connection_upgrade;
proxy_send_timeout 300s;
proxy_read_timeout 300s;
add_header Access-Control-Allow-Origin "*";
}

Таймауты 300s это вроде как 5 минут а не 10.
Так же есть SSL, там есть такая настройка, что вроде как тоже не 10 минут:

ssl_session_timeout 1440m;

В остальном никаких таймаутов нигде не задано. Ошибок в логах нет. Что это может быть?

Сам сервер работает на nodejs + ws. Там могут быть такие лимиты/таймауты по умолчанию?

На вебсокете висит несколько тысяч клиентов. Но не думаю что проблема в каких-то лимитах на количество коннектов, потому что все работает для каждого клиента ровно 10 минут.

Comments

[Андрей]

ошибка какая в консоль падает?

[Алеша]

Никаких не падает. Не подумал. Сейчас на клиентской части сделаю чтоб падали, напишу.

[Lynn «Кофеман»]

А в эти 10 минут клиент запросы шлёт и всё работает?

[Андрей]

Алеша, ещё sysctl -p чего показывает? нода под кем запускается под рутом? какие лимиты выставлены в etc/security/limits.conf ?

[Алеша]

Андрей,
sysctl -p

fs.file-max = 2048000
net.core.somaxconn = 65536
net.ipv4.tcp_max_syn_backlog = 4096
net.ipv4.ip_local_port_range = 1024 65535

etc/security/limits.conf тоже все в порядке. Эти лимиты здесь не при чем. Проблема разрыва ровно через 10 минут, секунда в секунду. Если бы из-за лимитов на соединения рвало то не ровно через 10 минут.

[Алеша]

Андрей, блин не могу ошибку в клиентской консоли отловить, потому что на тестовом серваке ничего не рвется, хотя настройки везде одинаковые, что на тестовом что на рабочем. На рабочий не могу отлов ошибок добавить.

[Алеша]

Алексей Тен, все работает, при чем на тестовом серваке с аналогичными настройками ничего не рвется, уже 20 минут без разрывов. А на рабочем ровно 10 минут и выкидывает клиента. Настройки везде одинаковые.

[Алеша]

Запущены абсолютно идентичные по настройкам ws сервер и nginx на двух серверах, кроме того что что рабочий (который рвет соединения) коннектится по https, тестовый (который не рвет) по http. Думаю проблема либо на стороне SSL, либо в настройках unix (на обоих машинах ubuntu server, только один я ставил сам, второй ставил провайдер, возможно с измененными настройками о которых я не знаю).

[Андрей]

в любом случае в консоль хрома должен упасть красный еррор через 10 минут. console log вывали.
ssl_session_timeout 1440m; поставь 6h
ssl_session_cache shared:SSL:200m;

[Алеша]

Андрей, спасибо попробую. Проблема точно где-то в SSL, подключился по http ничего не рвется. Хром вроде большинство ошибок в консоль выкидывает если само приложение их через console.error() кидает. У меня приложение при разрыве в консоль ничего не кидает, просто реконнект делает.

[Алеша]

Андрей, к сожалению не помогло, ну хотя бы уже ясно что дело где-то в SSL...

[Андрей]

Алеша, а как ты вебсокет открываешь на клиентской стороне?

Answer 1

[Егор Казанцев]

Есть такая штука в протоколе websocket как пинг , добавь это в сервере или на клиенте.
Отваливание насколько я помню это нормальное поведение Nginx по-умолчанию.

Comments

[Алеша]

Пинг нужен когда обмен сообщениями редко идет. У меня там постоянный трафик по 20-100 сообщений в минуту туда-сюда ходят каждому клиенту. Ровно через 10 минут клиент начинает слать сообщения, сервер молчит, потом клиент отваливается и переподключается.

Answer 2

[Алеша]

Извиняюсь, проблема была на стороне провайдера, обновляли что-то на канале.