Как сделать так, чтобы сервер пропускал более 1024 коннектов одновременно?

Question

[grafchitaru]

При тестировании нагрузки на сервер, постоянно выпадают ошибки в том случае, если ставить более 1024 одновременных коннектов(ab -c 2000 -n 2000 https://адрес_сайта):
apr_socket_recv: Connection reset by peer (104)
Total of 110 requests completed
На этом операция прерывается.
В логах ничего найти не могу.
Лимиты увеличил везде, где только можно.
При просмотре htop, нагрузка небольшая.
Мне нужно настроить сервер таким образом, чтобы могли одновременно находиться на сайте 2000-4000 человек.

Конфигурация:
Debian GNU/Linux 9
Intel® Xeon® 2 vCPU core
SSD
RAM 8 GB
nginx/1.16.1

Answer 1

[Владимир Коротенко]

https://www.monitis.com/blog/6-best-practices-for-...
https://www.nginx.com/blog/tuning-nginx/

2. Maximize worker_connections
Worker connections tells worker processes how many clients can be served simultaneously by Nginx. The default value for this is 768 but it’s important to keep in mind that each browser will usually open at least 2 server connections. The maximum number for the worker connections setting is 1024 and it’s best to use this to get the full potential from Nginx. On this basis then, assuming 1 core for each worker process, setting worker_connections to 1024 implies that Nginx can serve 1024 clients/second.

Comments

[grafchitaru]

Текущая конфигурация
user www-data;
worker_processes 24;

worker_rlimit_nofile 300000;

include /etc/nginx/modules-enabled/*.conf;

error_log /var/log/nginx/error.log warn;
pid /var/run/nginx.pid;

events {
use epoll;
worker_connections 300000;
multi_accept on;
accept_mutex off;
}

http {
include /etc/nginx/mime.types;
default_type application/octet-stream;

log_format fastpanel '[$time_local] $host $server_addr $remote_addr $status $body_bytes_sent $request_time $request $http_referer $http_user_agent';
access_log off;
sendfile on;
tcp_nopush on;
tcp_nodelay on;

keepalive_timeout 65;
keepalive_requests 800;

client_max_body_size 100m;

gzip on;
gzip_min_length 1000;
gzip_buffers 16 8k;
gzip_disable "msie6";
gzip_types text/plain text/css application/json application/x-javascript text/xml application/xml application/xml+rss text/javascript application/javascript;

include /etc/nginx/conf.d/*.conf;
include /etc/nginx/fastpanel2-sites/*/*.conf;
include /etc/nginx/sites-enabled/*.conf;

server_names_hash_bucket_size 128;
}

[Владимир Коротенко]

grafchitaru,
У меня была другая ошибка, помогло вот это

ulimit -n 10000

kvn@srv-debian:~$ ab -c 2000 -n 2000 localhost
This is ApacheBench, Version 2.3 <$Revision: 1757674 $>
Copyright 1996 Adam Twiss, Zeus Technology Ltd, www.zeustech.net
Licensed to The Apache Software Foundation, www.apache.org

Benchmarking localhost (be patient)
Completed 200 requests
Completed 400 requests
Completed 600 requests
Completed 800 requests
Completed 1000 requests
Completed 1200 requests
Completed 1400 requests
Completed 1600 requests
Completed 1800 requests
Completed 2000 requests
Finished 2000 requests

Server Software:
Server Hostname: localhost
Server Port: 80

Document Path: /
Document Length: 0 bytes

Concurrency Level: 2000
Time taken for tests: 0.202 seconds
Complete requests: 2000
Failed requests: 2000
(Connect: 0, Receive: 0, Length: 752, Exceptions: 1248)
Non-2xx responses: 489
Total transferred: 3130504 bytes
HTML transferred: 2989218 bytes
Requests per second: 9912.77 [#/sec] (mean)
Time per request: 201.760 [ms] (mean)
Time per request: 0.101 [ms] (mean, across all concurrent requests)
Transfer rate: 15152.32 [Kbytes/sec] received

Connection Times (ms)
min mean[+/-sd] median max
Connect: 34 74 27.3 70 126
Processing: 30 34 3.2 32 51
Waiting: 0 12 16.0 0 43
Total: 74 108 25.3 102 176

Percentage of the requests served within a certain time (ms)
50% 102
66% 118
75% 129
80% 136
90% 149
95% 155
98% 158
99% 159
100% 176 (longest request)

[grafchitaru]

Владимир Коротенко, я лимиты выставил
root soft nofile 500000
root hard nofile 500000
Но к сожалению это не помогает

[Владимир Коротенко]

grafchitaru, Я вечером поиграюсь с вашим файлом. Скину свои наблюдения.

А что за виртуалка? У меня Hyper-V.

[grafchitaru]

Владимир Коротенко, OpenVZ

[Владимир Коротенко]

grafchitaru,
Гляньте в эту сторону, возможно ограничение на уровне контейнера
https://serverfault.com/questions/698845/debian-li...

[grafchitaru]

Владимир Коротенко, вы правы, спасибо большое за совет. Написал в поддержку, ответили
Вы правы, для OpenVZ-контейнеров действительно установлены ограничения на количество процессов, и для Вашего тарифа это 1024. К сожалению, увеличить лимит нельзя. На старших тарифах в линейке ограничение также равно 1024.
В качестве решения можем предложить Вам перейти на виртуальный сервер KVM или выделенный сервер.
На KVM эмулируется полноценная ОС, там всё будет ограничиваться лишь ресурсами сервера и настройками ОС.

[Владимир Коротенко]

grafchitaru, Подумалось когда вспомнил свою историю. Мне пришлось перейти с OpenVZ на KVM когда поднимал vpn.