linode.com — проблемы с производительностью

Question

[Bloodlettinger]

Хостился у хетцнера, не устроила надежность серверов, много тех работ и даунтаймов. Сайт на минимальном тарифе грузился не более 1с на страницу. Крутится все на uwsgi+nginx+postgresql.

После переезда на линод, вы ходных потестил — все летает, загрузка страниц 0.5-0.6 сек. В будни картина сильно изменилась, сайт прогружается до 8 сек, метрика ругается что сайт недоступен по 5 раз на дню. Саппорт хетцнера утрвеждает что у них все в порядке и мне надо искать проблему у себя. По ночам все опять работает хорошо, начиная с 8и утра безумные лаги. Системный монитор не показывает аномальных нагрузок, все как обычно.
Кто сталкивался? И если были подобные проблемы, то как решать?

Answer 1

[Optik]

1. Смотреть логи соединений (количество).
2. Запустить мониторинг ресурсов (про диски и сеть не забыть). По результатам построить графики и смотреть.

Answer 2

[Пума Тайланд]

Выложите картинки с системного мониторинга и сразу будет все ясно
cpu memory network
А так гадай на кофейной гуще

Answer 3

[Bloodlettinger]

цп грузится не более чем на 20%, памяти свободной валом. Сейчас тестирую дисковую активность и сеть. После буду мучить саппорт.

Comments

[Optik]

Сколько процов на хосте?

[Bloodlettinger]

8 ядер. Для nginx сделал 8 процессов, для uwsgi 4. Эмперически установил что с 2 и 8 uwsgi работает хуже.

[Optik]

Тогда смотрите по ядрам утилизацию, можно еще очереди на ядрах глянуть.

Answer 4

[Makaveli]

Посмотрите Longview графики сети/проца/диска, у них там всё довольно удобно мониторить:


Плюс когда в будни сильно тормозит сайт — посмотрите загрузку вашего хоста в Dashboard:


Если графики показывают большую активность — значит ваш сервер где-то тормозит и проседает.
Если на графиках всё хорошо — то возможно Host загружен и тогда там должно быть написано во время тормоза не Idle а что-то другое.

Вероятно, что другой виртуальный сервер на физической машине, где вы хоститесь, сжирает все ресурсы машины и вам не остаётся ничего :)

Comments

[Bloodlettinger]

Это самое странное, хост Idle все время, редко low. Longview на цп показывает пики в 20%, обычно 2-3%. Нагрузки на сеть и диски по Longview тоже особо нет.

[Makaveli]

Тогда стоит глянуть в код сайта. Поставить замер времени выполнения скриптов. Посмотреть, не тянется ли что-то с извне, может данные какие-то через CURL грузятся.

[Bloodlettinger]

Вернул, пока, обратно на hetzner (минимальный тариф, памяти в 2 раза меньше). Скорость загрузки главной страницы 0.2 сек, каталог 0.3 сек.

ссылка

www.mebel-prosto.com

Разверну test.domain на линоде, буду экспериментировать.

[Optik]

Запустите мониторинг. Если никсы, то скрипты с помощью утилит sysstat -а. Если винда, то perfmon. Утилизация проца по ядрам раздельно, очередь на процах, память, загрузка дисков, время доступа к дискам и время обслуживания дисков. По логам за сутки уже делать анализ.
Также смотреть количество соединений. Во время лагов, через консоль браузера посмотреть какие запросы отрабатывают дольше всего.

Если не хотите мониторить, то и не тратьте время в принципе.

Answer 5

[Bloodlettinger]

vmstat на linode (медленно работает)

procs -----------memory---------- ---swap-- -----io---- -system-- ----cpu----
r b swpd free buff cache si so bi bo in cs us sy id wa
0 0 132 57472 164624 428104 0 0 0 1 6 2 0 0 100 0
0 0 132 57596 164624 428104 0 0 0 0 64 80 0 0 100 0
0 0 132 57564 164624 428104 0 0 0 0 42 72 0 0 100 0
0 0 132 57564 164624 428104 0 0 0 0 43 72 0 0 100 0
0 0 132 57564 164624 428104 0 0 0 0 42 74 0 0 100 0
0 0 132 57564 164624 428104 0 0 0 0 43 72 0 0 100 0
0 0 132 57564 164624 428104 0 0 0 0 43 74 0 0 100 0
0 0 132 57564 164624 428104 0 0 0 0 42 68 0 0 100 0
0 0 132 57564 164624 428104 0 0 0 0 43 76 0 0 100 0
0 0 132 57564 164624 428104 0 0 0 0 41 70 0 0 100 0
0 0 132 57564 164624 428104 0 0 0 0 45 72 0 0 100 0
0 0 132 57580 164624 428104 0 0 0 0 2750 2108 3 1 96 0
0 0 132 57404 164624 428104 0 0 0 72 173 147 0 0 100 0
0 0 132 57404 164624 428104 0 0 0 0 42 69 0 0 100 0
0 0 132 57472 164624 428104 0 0 0 0 42 69 0 0 100 0
0 0 132 57632 164624 428104 0 0 0 0 2913 2087 4 1 95 0
0 0 132 57632 164624 428104 0 0 0 0 42 67 0 0 100 0
0 0 132 57632 164624 428104 0 0 0 44 47 77 0 0 100 0
0 0 132 57612 164624 428104 0 0 0 0 44 73 0 0 100 0
0 0 132 57612 164624 428104 0 0 0 0 43 65 0 0 100 0
1 0 132 55952 164624 428104 0 0 0 0 751 555 1 0 99 0
0 0 132 57408 164624 428104 0 0 0 28 5057 3689 7 1 92 0
0 0 132 57676 164624 428108 0 0 0 0 5549 4012 9 1 88 0
0 0 132 57580 164624 428108 0 0 0 0 43 69 0 0 100 0
1 0 132 57584 164624 428112 0 0 0 0 43 73 0 0 100 0
0 0 132 57688 164624 428112 0 0 0 0 45 67 0 0 100 0
1 0 132 53260 164624 428112 0 0 0 32 3785 2750 5 1 94 0
0 0 132 48940 164624 428116 0 0 0 0 7397 5678 9 1 90 0
0 0 132 49932 164624 428116 0 0 0 0 2656 1977 3 1 97 0
0 0 132 49888 164624 428132 0 0 0 0 2508 1850 4 0 96 0
0 0 132 49920 164624 428132 0 0 0 0 50 67 0 0 100 0
0 0 132 49856 164624 428132 0 0 0 0 48 73 0 0 100 0
0 0 132 49792 164624 428132 0 0 0 32 51 79 0 0 100 0
0 0 132 49792 164624 428132 0 0 0 0 44 71 0 0 100 0

vmstat на hetzner (быстро работает)

procs -----------memory---------- ---swap-- -----io---- -system-- ----cpu----
r b swpd free buff cache si so bi bo in cs us sy id wa
0 0 49812 23488 64496 168220 0 0 7 13 47 3 1 0 99 0
0 0 49812 23480 64504 168204 0 0 0 44 58 98 0 0 100 0
0 0 49812 23480 64504 168212 0 0 0 0 43 78 0 0 100 0
0 0 49812 23496 64504 168212 0 0 0 0 46 84 0 0 100 0
0 0 49812 23240 64504 168212 0 0 0 0 97 981 13 1 86 0
0 0 49808 22240 64504 168216 0 0 0 0 156 1922 23 4 73 0
0 0 49808 23364 64504 168216 0 0 0 0 48 103 0 0 100 0
1 0 49808 21248 64504 168216 0 0 0 0 75 614 8 1 91 0
0 0 49808 23340 64504 168220 0 0 0 0 169 2444 32 2 66 0
0 0 49808 23216 64512 168212 0 0 0 100 164 1144 14 1 85 0
0 0 49808 23100 64512 168228 0 0 0 0 315 1177 14 3 83 0
0 0 49808 23092 64512 168236 0 0 0 0 332 1073 12 3 84 0
1 0 49808 20860 64512 168276 0 0 0 32 129 1625 21 2 77 0
0 0 49808 23092 64516 168316 0 0 28 0 197 1739 25 3 71 1
0 0 49808 23100 64516 168304 0 0 0 0 46 78 0 0 100 0
0 0 49808 23100 64524 168296 0 0 0 88 53 90 0 0 100 0
0 0 49808 23100 64524 168304 0 0 0 0 48 81 0 0 100 0
0 0 49808 23100 64524 168304 0 0 0 0 45 75 0 0 100 0
0 0 49808 23100 64524 168304 0 0 0 0 47 78 0 0 100 0
0 0 49808 23092 64524 168304 0 0 0 0 103 1185 17 1 82 0
0 0 49808 22976 64528 168340 0 0 32 60 178 1154 15 3 78 4
0 0 49808 22984 64528 168332 0 0 0 0 54 76 0 0 100 0
0 0 49808 22984 64528 168332 0 0 0 0 47 78 0 0 100 0
0 0 49808 22984 64528 168332 0 0 0 0 44 75 0 0 100 0
0 0 49808 22984 64528 168332 0 0 0 0 45 79 0 0 100 0
0 0 49808 22984 64536 168324 0 0 0 28 50 88 0 0 100 0
1 0 49808 21008 64536 168332 0 0 0 0 80 803 9 2 89 0
2 0 49808 18248 64536 168440 0 0 108 0 387 1966 29 3 67 1
1 0 49804 20844 64536 168460 0 0 0 0 139 1364 18 2 80 0
0 0 49804 22836 64536 168460 0 0 0 0 166 1318 20 2 78 0

существенная разница только в in и cs, предположил, что это связанно с тем, что на линоде 8 ядер, и в nginx и uwsgi я сделал по 8 процессов. Сделал по 2 процесса, ситуация не поменялась

vmstat на linode 2 процесса на uwsgi ninx

procs -----------memory---------- ---swap-- -----io---- -system-- ----cpu----
r b swpd free buff cache si so bi bo in cs us sy id wa
1 0 132 171544 164624 428120 0 0 0 1 6 2 0 0 100 0
0 0 132 171544 164624 428120 0 0 0 0 47 59 0 0 100 0
0 0 132 171544 164624 428120 0 0 0 0 32 44 0 0 100 0
0 0 132 171660 164624 428120 0 0 0 0 31 48 0 0 100 0
1 0 132 169532 164624 428120 0 0 0 0 1167 873 1 0 98 0
1 0 132 168236 164624 428120 0 0 0 12 6116 4550 8 1 91 0
0 0 132 169748 164624 428128 0 0 0 0 3049 2200 4 1 95 0
0 0 132 169788 164624 428128 0 0 0 0 109 73 0 0 100 0
0 0 132 169896 164624 428128 0 0 0 0 31 47 0 0 100 0
0 0 132 169928 164624 428128 0 0 0 0 30 43 0 0 100 0
0 0 132 169960 164624 428128 0 0 0 32 39 61 0 0 100 0
0 0 132 169964 164624 428132 0 0 0 0 2758 2035 3 1 96 0
0 0 132 169960 164624 428132 0 0 0 0 29 41 0 0 100 0
0 0 132 169800 164624 428132 0 0 0 0 2825 2054 4 1 96 0
0 0 132 169788 164624 428132 0 0 0 0 2790 2064 3 1 96 0
0 0 132 169908 164624 428132 0 0 0 0 2718 2023 3 0 96 0
0 0 132 169880 164624 428132 0 0 0 28 37 54 0 0 100 0
0 0 132 169080 164624 428136 0 0 0 0 2640 1775 4 1 95 0
1 0 132 167480 164624 428136 0 0 0 0 1637 1101 3 1 97 0
0 0 132 169096 164624 428140 0 0 0 0 1428 987 2 0 97 0
0 0 132 169120 164624 428140 0 0 0 44 33 47 0 0 100 0

памяти везде хватает

hetzner
total used free shared buffers cached
Mem: 508936 488748 20188 0 64752 168504
-/+ buffers/cache: 255492 253444
Swap: 1048572 49796 998776

linode
total used free shared buffers cached
Mem: 1011248 842800 168448 0 164624 428140
-/+ buffers/cache: 250036 761212
Swap: 524284 132 524152

iostat

hetzner
Linux 3.2.0-4-amd64 (Debian-70-wheezy-64-minimal) 04.10.2013 _x86_64_ (1 CPU)
avg-cpu: %user %nice %system %iowait %steal %idle
0,56 0,00 0,10 0,07 0,02 99,25
Device: tps kB_read/s kB_wrtn/s kB_read kB_wrtn
sda 0,78 7,13 13,18 6105432 11275368

linode
Linux 3.9.3-x86_64-linode33 (li645-150) 04.10.2013 _x86_64_ (8 CPU)
avg-cpu: %user %nice %system %iowait %steal %idle
0,02 0,00 0,01 0,00 0,05 99,92
Device: tps kB_read/s kB_wrtn/s kB_read kB_wrtn
xvda 0,68 3,37 11,46 2588513 8788496
xvdb 0,00 0,00 0,00 472 132

iptraf ничего особенного не показывает, сервер на линоде сейчас доступен только по ip, обращения только мои

Answer 6

[Bloodlettinger]

Профилирование скриптов показало

на линоде
Resource Value
User CPU time 1884.000 msec
System CPU time 384.000 msec
Total CPU time 2268.000 msec
Elapsed time 2492.328 msec
Context switches 4800 voluntary, 2 involuntary
на хетцнере
Resource Value
User CPU time 808.050 msec
System CPU time 60.004 msec
Total CPU time 868.054 msec
Elapsed time 1043.667 msec
Context switches 29 voluntary, 270 involuntary

При кешировании запросов к БД

Линод
Resource Value
User CPU time 478.000 msec
System CPU time 115.000 msec
Total CPU time 593.000 msec
Elapsed time 590.560 msec
Context switches 2335 voluntary, 0 involuntary
Хетцнер
Resource Value
User CPU time 120.008 msec
System CPU time 8.000 msec
Total CPU time 128.008 msec
Elapsed time 145.782 msec
Context switches 21 voluntary, 487 involuntary

В сапорте линода спросил, особенности ли это их виртуализации или моя локальная проблема. Они ответили что бы копал у себя.