Как определить какой сайт создает нагрузку на Unix-сервер?

Question

[Aramaki]

есть Debian-сервер в облаке Selectel



потребление за день периодически подскакивает в 4 раза, из них 90% расхода идет по диску, а именно по статьям



Диск: запросов на чтение 50%

Диск: запросов на запись 22%

Диск: прочитанный объём 24%



На сервере стоит ISPmanager — лимиты bandwidth подсказку не дают



По результатам грешу на своп, но как определить источник проблем? хотя бы до папки, в идеале до скрипта…




root@srv:~# free
total used free shared buffers cached
Mem: 262144 259424 2720 0 3588 29024
-/+ buffers/cache: 226812 35332
Swap: 524284 149628 374656

Answer 1

[Dzen_Marketing]

Если просаживается диск, то с большой долей вероятности это работа с БД, у вас же ютуб не хостится?
Так как БД в большинстве случаев MySQL, то поставьте Percona, там в стате показывается какой юзер какой лоад даёт.
Но я бы для начала смотрел iotop и иже с ними, чтобы локализовать сервис жрущий диск

Comments

[Aramaki]

Percona из aptitude сходу не поставилась — буду разбираться

вот лидеры по iotop

Total DISK READ: 262.41 K/s | Total DISK WRITE: 23.15 K/s
  TID  PRIO  USER     DISK READ  DISK WRITE  SWAPIN     IO>    COMMAND
 2059 be/0 root      262.41 K/s   15.44 K/s  1.36 %  3.95 % atop -a -w /var/log/atop.log 600

Total DISK READ: 5.09 M/s | Total DISK WRITE: 1510.88 K/s
  TID  PRIO  USER     DISK READ  DISK WRITE  SWAPIN     IO>    COMMAND
   22 be/4 root        0.00 B/s    0.00 B/s  0.00 % 16.53 % [kswapd0]
18876 be/4 www-data    4.87 M/s    0.00 B/s 15.77 % 15.41 % apache2 -k start
11389 be/4 mysql      85.23 K/s    0.00 B/s  1.12 %  0.00 % mysqld --basedir=/usr --datadir=/var/lib/mysql --user=mysql --pid-file=/var/run/mysqld/mysqld.pid --socket=/var/run/mysqld/mysqld.sock --port=3306
26406 be/4 root      139.47 K/s    0.00 B/s  1.41 %  0.00 % aptitude
    1 be/4 root        0.00 B/s    0.00 B/s  0.00 %  0.00 % init [2]

Total DISK READ: 177.97 K/s | Total DISK WRITE: 0.00 B/s
  TID  PRIO  USER     DISK READ  DISK WRITE  SWAPIN     IO>    COMMAND
   22 be/4 root        0.00 B/s    0.00 B/s  0.00 %  9.34 % [kswapd0]
26520 be/4 www-data  177.97 K/s    3.87 K/s  0.00 %  0.96 % apache2 -k start
 

Total DISK READ: 2.24 M/s | Total DISK WRITE: 45.56 K/s
  TID  PRIO  USER     DISK READ  DISK WRITE  SWAPIN     IO>    COMMAND
   22 be/4 root        0.00 B/s    0.00 B/s  0.00 %  8.99 % [kswapd0]
23860 be/4 www-data    2.27 M/s    3.80 K/s 29.63 %  0.64 % apache2 -k start
 

похоже что апач тоже много отжирает

а вот результат atop

 ATOP - srv                2013/03/31  14:00:02               10 seconds elapsed
PRC | sys   0.07s | user   0.04s | #proc     91 | #zombie    0 | #exit     12 |
CPU | sys      1% | user      0% | irq       0% | idle     91% | wait      7% |
CPU | steal    0% | stl/cpu   0% |              |              |              |
CPL | avg1   0.17 | avg5    0.31 | avg15   0.29 | csw     1729 | intr    1505 |
MEM | tot  256.0M | free    2.0M | cache  18.9M | buff    1.7M | slab   17.5M |
SWP | tot  512.0M | free  381.2M |              | vmcom 699.6M | vmlim 640.0M |
PAG | scan   6956 | stall      0 |              | swin      64 | swout    290 |
DSK |        xvda | busy      3% | read     731 | write     55 | avio    0 ms |
DSK |        xvdb | busy      0% | read      48 | write     19 | avio    0 ms |
NET | transport   | tcpi      11 | tcpo      12 | udpi       4 | udpo       4 |
NET | network     | ipi       22 | ipo       16 | ipfrw      0 | deliv     18 |
NET | eth0   ---- | pcki     765 | pcko      16 | si   39 Kbps | so    4 Kbps |

  PID  SYSCPU  USRCPU  VGROW  RGROW  RDDSK  WRDSK  ST EXC S  CPU CMD     1/1
26520   0.00s   0.03s     0K   -32K   520K     4K  --   - S   0% apache2
26731   0.03s   0.00s     0K     0K     4K     0K  --   - R   0% atop
11330   0.01s   0.00s     0K  -236K   132K     0K  --   - S   0% mysqld
26792   0.01s   0.00s  8496K  1900K  9300K     4K  N-   - S   0% dbcache
  651   0.00s   0.01s     0K   240K   668K    12K  --   - S   0% rsyslogd
    4   0.01s   0.00s     0K     0K     0K     0K  --   - S   0% ksoftirqd/0
   22   0.01s   0.00s     0K     0K     0K     0K  --   - D   0% kswapd0
23565   0.00s   0.00s     0K  -160K     0K     0K  --   - S   0% apache2
25393   0.00s   0.00s     0K  -168K     0K     0K  --   - S   0% apache2
18876   0.00s   0.00s     0K  -136K     0K     0K  --   - S   0% apache2
24590   0.00s   0.00s     0K  -536K     0K     0K  --   - S   0% apache2
21927   0.00s   0.00s     0K  -100K     0K     0K  --   - S   0% apache2
23860   0.00s   0.00s     0K  -104K     0K     0K  --   - S   0% apache2
25516   0.00s   0.00s     0K   -20K     0K     0K  --   - S   0% apache2
25602   0.00s   0.00s     0K   -20K     0K     0K  --   - S   0% apache2
26522   0.00s   0.00s     0K  -116K     0K     0K  --   - S   0% apache2
26804   0.00s   0.00s  9792K  1656K  2512K     0K  N-   - R   0% ihttpd
26406   0.00s   0.00s     0K     0K    64K     0K  --   - S   0% aptitude
26791   0.00s   0.00s  4128K  1536K  1536K     0K  N-   - S   0% wget
26782   0.00s   0.00s  2492K   964K  1168K    20K  N-   - S   0% cron
 3322   0.00s   0.00s     0K    -4K   504K     0K  --   - D   0% ispmgr
26784   0.00s   0.00s  2492K   912K   388K     0K  N-   - S   0% cron
26785   0.00s   0.00s  2492K   912K   116K     0K  N-   - S   0% cron
  711   0.00s   0.00s     0K   -12K     0K     0K  --   - S   0% xe-daemon
26302   0.00s   0.00s     0K   -12K     0K     0K  --   - S   0% bash
 1051   0.00s   0.00s     0K     0K   396K     4K  --   - S   0% cron
 1317   0.00s   0.00s     0K   -12K     0K     0K  --   - S   0% exim4
26786   0.00s   0.00s  1796K   508K    96K     0K  N-   - S   0% sh
26795   0.00s   0.00s  1796K   504K   532K     0K  N-   - S   0% ihttpd.check.s
26788   0.00s   0.00s  1796K   500K     4K     0K  N-   - S   0% sh
26800   0.00s   0.00s  7680K   332K  4236K     0K  N-   - D   0% sendmail

 

[Aramaki]

Percona поставил, базы целы :)

а как смотреть нагрузку? мануал этот вопрос не проянил

[sch1z0phr3n1a]

Ну в топе виден [kswapd]. Это своп, увеличьте память вдвое. Возможно после этого и apache перестанет есть диск, т.к. будет брать файлы из page cache.

Ну и кстати, в селектеле память дешевле чем своп на диске. Всячески советую избегать свопа в селектеле

[Aramaki]

в моей инсталляции лимит по памяти, брал для экономии, но за год проекты выросли

видимо придется переустанавливать все — это отдельный геморрой

Answer 2

[Stormix]

Если swap используется, это убивает производительность к чертям всегда.

Если есть подозрения на «что-то еще», то можно попробовать разделить пулы процессов обработчиков скриптов для каждого из сайтов (по пулу на сайт или пачками, методом половинного деления, например. В зависимости от того, как быстро вам нужно найти виновника и как много ресурсов у вас есть) и с помощью того же iotop мониторить нагрузку.

Конечно, вам не будет сильно интересно постоянно смотреть в iotop, поэтому можно впилить его в Cacti или Zabbix (мы Cacti используем, довольны). Через день на графике увидите виновника.

Как разделять пулы — очень зависит от того, какой у вас язык программирования и как скрипт запущен. Например, в связке nginx+php5-fpm достаточно разделить пулы fpm, и настроить upstream'ы nginx для каждого из сайтов соответственно.

Answer 3

[EugeneOZ]

NewRelic может показать виновника (именно скрипт и запрос). Не уверен, есть ли такое в бесплатной версии, но, чтобы решить проблему, как вариант, можно купить на месяц платный тариф.
Ну или бесплатно можно включить mysql slow query log, и руками потом парсить — не самое приятное времяпрепровождение.

Answer 4

[Swartalf]

atop/iotop/htop помогут найти сам процесс.
если это будет mysql, то с помощью mytop(my_top|mtop в разных дистрах по разному) можно будет конкретизировать сам запрос/функцию/процедуру