Почему так сильно грузится cpu?

Question

[antontinishov]

Есть сайтик на django на vds (1 core, 1 gb ram, 20 gb ssd). На бэкенде nginx+uwsgi. Используется бд postgresql. При нескольких обновлениях странички цп грузится оч сильно. Думаю, что нужно как-то править конфиги uwsgi...
Собственно конфиг:

#mysite_uwsgi.ini
[uwsgi]

plugins         = python3
wsgi-file       = /beta/beta/beta/beta/wsgi.py
chdir           = /beta/beta/beta
module          = beta.wsgi:application
home            = /beta/beta
master          = true
enable-threads = true
processes       = 1
threads         = 1
thunder-lock = true
cpu-affinity    = 1

chmod-socket    = 666
socket          = /beta/mysite.sock
chown-socket    =  www-data
vacuum          = true
pidfile = /beta/mysite.pid

disable-logging = true
daemonize = /beta/beta/uwsgi.log
harakiri = 30
harakiri-verbose = true
max-requests = 5000
close-on-exec = true
post-buffering = 1

Comments

[antontinishov]

На vds проц Intel Xeon E5620, у которого 4 ядра и кол-во потоков = 8. Убрал 'cpu-affinity' и выставил
processes = 1
threads = 8

Всё равно дикая нагрузка.

Answer 1

[sim3x]

serverfault.com/q/696449
cpu-affinity

One word: why? Many people think that CPU pinning is a good thing. It rarely if ever provides any performance increase over just letting the kernel's CPU scheduler do its thing

processes * threads ~ RPS на бекенд

processes       = 1 
threads         = 1

Comments

[sim3x]

antontinishov: для коментариев жмем линк комментировать

теперь определимся, что виноват точно uwsgi
убиваем процесс и мониторим нагрузку

запускаем uwsgi с мин конфигом смотрим на нагрузку

ПС как ты устанавливал питон плагин ?

[antontinishov]

С простым конфигом всё так же...

home = /beta/beta
pidfile = /beta/mysite.pid
master = true
socket = /beta/mysite.sock
chmod-socket = 666
vacuum = true
plugins = python3
wsgi-file = /beta/beta/beta/beta/wsgi.py
chdir = /beta/beta/beta
module = beta.wsgi:application

uwsgi я устанавливал сначала в виртуальное окружение, а потом глобально командой sudo pip3 install uwsgi

[sim3x]

antontinishov: убери plugins = python3

на самом деле пип ставит версию с поддержкой всех плагинов
или нужно отдельно их собрать uwsgi-docs.readthedocs.org/en/latest/Install.html#...

[sim3x]

antontinishov: смотри в лог там все должно написать

[sim3x]

antontinishov: не забывай нажимать линк "ответить"

[antontinishov]

sim3x: Так же. Убрал из конфига 'plugins'. Привожу лог

*** Starting uWSGI 2.0.12 (64bit) on [Tue Feb 16 16:41:35 2016] ***
compiled with version: 4.9.2 on 16 February 2016 17:46:28
os: Linux-3.16.0-4-amd64 #1 SMP Debian 3.16.7-ckt20-1+deb8u3 (2016-01-17)
machine: x86_64
clock source: unix
pcre jit disabled
detected number of CPU cores: 1
current working directory: /etc/uwsgi/vassals
detected binary path: /usr/local/bin/uwsgi
chdir() to /beta/beta/beta
your processes number limit is 3936
your memory page size is 4096 bytes
detected max file descriptor number: 1024
lock engine: pthread robust mutexes
thunder lock: disabled (you can enable it with --thunder-lock)
uwsgi socket 0 inherited UNIX address /beta/mysite.sock fd 3
Python version: 3.4.2 (default, Oct 8 2014, 10:47:48) [GCC 4.9.1]
Set PythonHome to /beta/beta
*** Python threads support is disabled. You can enable it with --enable-threads ***
Python main interpreter initialized at 0x737190
your server socket listen backlog is limited to 100 connections
your mercy for graceful operations on workers is 60 seconds
mapped 145536 bytes (142 KB) for 1 cores
*** Operational MODE: single process ***
WSGI app 0 (mountpoint='') ready in 1 seconds on interpreter 0x737190 pid: 419 (default app)
mountpoint already configured. skip.
*** uWSGI is running in multiple interpreter mode ***
gracefully (RE)spawned uWSGI master process (pid: 419)
spawned uWSGI worker 1 (pid: 923, cores: 1)
[pid: 923|app: 0|req: 1/1] 141.101.81.159 () {58 vars in 1088 bytes} [Tue Feb 16 16:41:39 2016] GET / => generated 138355 bytes in 754 msecs (HTTP/1.1 200) 5 headers in 281 bytes (1 switches on core 0)
announcing my loyalty to the Emperor...

[sim3x]

antontinishov: не, вот сейчас в консоль все должно кидать
потому что в логах у тебя Emperor мод

[antontinishov]

sim3x:
Я в rc.local внёс автозапуск emperor. Конфиг ребутаю командой sudo uwsgi --reload /beta/mysite.pid
В логе помимо get-запросов проскальзывает следующее:
Tue Feb 16 17:10:43 2016 - SIGPIPE: writing to a closed pipe/socket/fd (probably the client disconnected) on request / (ip 141.101.81.159) !!!
Tue Feb 16 17:10:43 2016 - uwsgi_response_writev_headers_and_body_do(): Broken pipe [core/writer.c line 296] during GET / (141.101.81.159)
OSError: write error

[sim3x]

antontinishov: так что в консоль писало, когда без демонизирования запускал
и что говорил top?

[antontinishov]

sim3x: ничего такого, что могло бы указать на причину. Итого, перешёл на gunicorn. Будем смотреть в код) Спасибо за отзывчивость, sim3x!