Раздача маленькой статики. 1500 rps. Как ускорить?

Question

[Андрей]

Есть потребность раздавать много миниатюр картинок. Сейчас сервера задыхаются, в час пик возникают большие задержки в отдаче статики.
Размер картинок 5-10кб.
Проводил тестирования с помощью ab
результат 1473 rps. По факту хуже так как ab запрашивал одну и ту же картинку, а в реальности их несколько миллионов.

Как думаете есть ли возможность значительно увеличить производительность серверов? Что можно подстроить в nginx и tcp/ip для быстрой отдачи картиное?

Конфиг nginx

worker_processes 8;
events
{
  worker_connections 4096;
  multi_accept on;
} 

access_log off;
log_not_found off;
error_log /var/log/nginx-error.log warn; 

open_file_cache max=2000 inactive=20s;
open_file_cache_valid 60s;
open_file_cache_min_uses 5;
open_file_cache_errors off; 

client_max_body_size 50M;
client_body_buffer_size 1m;
client_body_timeout 15;
client_header_timeout 15;
keepalive_timeout 2 2;
send_timeout 15;
sendfile on;
tcp_nopush on;
tcp_nodelay on;

Сервер
Xeon E3-1230
RAM 16Gb
Диски SATA через Software RAID 1

Answer 1

[neolink]

если вы 1500рпс на пустом сервере запрашивали, тогда это мало для одного файла для ab должно быть минимум 5000рпс(или вы по 100мбит/c сети гоняли тесты?)
задыхаются - это в чем выражается? cpu, io?
пока действительно больше похоже на то что у вас все упирается в Io
а как у вас эти 1кк картинок лежат на диске (пример полного пути к 1 из них) ?
ну и конфиг в студию

Comments

[Андрей]

Действительно гонял тесты на 100мбит. Пойду проверять что будет на гигабите.
Добавил картинки графиков и конфиг
пусть для картинок такой
/data/mini/016/141/016141287/pic150.jpg

[Андрей]

Наша проблема в канале 100Mb! Спасибо за наводку на одну из самых простых и очевидных вещей. Мы очень много времени потратили на разные настройки tcp/ip и nginx, а самое простое не увидели.

Answer 2

[Назар Мокринский]

Что если подключить CloudFlare, настроить заголовки при отдаче статики с сервера, и радоваться бесплатному CDN?

Comments

[Андрей]

вариант рабочий и мы пользовали его, но по ряду причин нам надо иметь возможность самим быстро раздать этот контент

Answer 3

[Renat Ibragimov]

Если есть память или еще сервер, то 2 варианта:
- балансировщик из nginx
- поставить varnish перед nginx

Comments

[Андрей]

добавить сервер не проблема. хочется выжать максимум из одного сервера.

[Renat Ibragimov]

andreyvlru: сорри, ответил чуть выше

Answer 4

[Дэн Иванов]

Врубите кеширование записи логов, в которые пишутся данные по запросам картинок. Как то так:
access_log /var/log/nginx/access.log main buffer=32k;
Проверьте количество соединений активных на машинке.
Нет ли в dmesg каких нибудь сообщений о переполненности nf_conntrack table ?