Нагрузка на диск, как узнать?

Question

[Dima Kim]

Добрый день, как правильно определить нагрузку?
в заббиксе выходят алерты
Less than 25% free in the text history cache

02/08/2016 10:59:50 AM
avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           1.65    0.00    0.25    0.15    0.00   97.95

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await  svctm  %util
sda               0.00    18.20    0.00   32.40     0.00     0.20    12.49     0.01    0.34   0.23   0.74
dm-0              0.00     0.00    0.00   50.60     0.00     0.20     8.00     0.02    0.41   0.15   0.74
dm-1              0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
dm-2              0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00

02/08/2016 10:59:55 AM
avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           0.60    0.00    0.20    0.75    0.00   98.45

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await  svctm  %util
sda              20.20     1.20    3.00   24.00     0.09     0.10    14.34     0.03    1.24   1.15   3.10
dm-0              0.00     0.00    0.00   25.20     0.00     0.10     8.00     0.01    0.45   0.27   0.68
dm-1              0.00     0.00   23.20    0.00     0.09     0.00     8.00     0.17    7.24   1.04   2.42
dm-2              0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00

02/08/2016 11:00:00 AM
avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           2.15    0.00    0.40    0.20    0.00   97.25

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await  svctm  %util
sda               4.20   191.20    0.60   28.60     0.02     0.86    61.53     0.03    1.10   0.60   1.76
dm-0              0.00     0.00    0.00  219.80     0.00     0.86     8.00     0.83    3.78   0.06   1.40
dm-1              0.00     0.00    4.80    0.00     0.02     0.00     8.00     0.03    6.00   0.75   0.36
dm-2              0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00

02/08/2016 11:00:05 AM
avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           1.15    0.00    0.55    6.02    0.00   92.27

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await  svctm  %util
sda              33.40     4.20   24.60  246.80     0.51     0.98    11.24     0.37    1.35   0.73  19.94
dm-0              0.00     0.00   49.60  251.40     0.47     0.98     9.91     0.37    1.21   0.65  19.58
dm-1              0.00     0.00    9.00    0.00     0.04     0.00     8.00     0.11   11.87   1.71   1.54
dm-2              0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00

NAME                         MAJ:MIN RM   SIZE RO TYPE MOUNTPOINT
sr0                           11:0    1  1024M  0 rom
sda                            8:0    0   500G  0 disk
├─sda1                         8:1    0   500M  0 part /boot
└─sda2                         8:2    0 499.5G  0 part
  ├─vg_z-lv_root (dm-0) 253:0    0   400G  0 lvm  /
  ├─vg_z-lv_swap (dm-1) 253:1    0     8G  0 lvm  [SWAP]
  └─vg_z-home (dm-2)    253:2    0    10G  0 lvm  /home

             total       used       free     shared    buffers     cached
Mem:          5852       5732        120          0        128        248
-/+ buffers/cache:       5354        497
Swap:         8191       5654       2537

Answer 1

[Виктор Таран]

че показывает iotop -oka

Comments

[Dima Kim]

Total DISK READ: 35.41 K/s | Total DISK WRITE: 14662.18 K/s
  TID  PRIO  USER     DISK READ  DISK WRITE  SWAPIN     IO>    COMMAND
  422 be/3 root          0.00 K    156.00 K  0.00 % 25.66 % [jbd2/dm-0-8]
14956 be/4 mysql        96.00 K 175480.00 K  0.03 %  6.33 % mysqld --basedir=/usr --datadir=/var/lib/mysql --user=mysql --log-er~d-file=/var/run/mysqld/mysqld.pid --socket=/var/lib/mysql/mysql.sock
14951 be/4 mysql        64.00 K 117868.00 K  0.03 %  3.86 % mysqld --basedir=/usr --datadir=/var/lib/mysql --user=mysql --log-er~d-file=/var/run/mysqld/mysqld.pid --socket=/var/lib/mysql/mysql.sock
14955 be/4 mysql        80.00 K  97964.00 K  0.05 %  3.00 % mysqld --basedir=/usr --datadir=/var/lib/mysql --user=mysql --log-er~d-file=/var/run/mysqld/mysqld.pid --socket=/var/lib/mysql/mysql.sock
14944 be/4 mysql         0.00 K  26308.00 K  0.00 %  0.93 % mysqld --basedir=/usr --datadir=/var/lib/mysql --user=mysql --log-er~d-file=/var/run/mysqld/mysqld.pid --socket=/var/lib/mysql/mysql.sock
22443 be/4 apache       12.00 K      8.00 K  0.00 %  0.32 % httpd
 2051 be/4 postfix       8.00 K      0.00 K  0.00 %  0.06 % qmgr -l -t fifo -u
14886 be/4 mysql         0.00 K  10072.00 K  0.00 %  0.04 % mysqld --basedir=/usr --datadir=/var/lib/mysql --user=mysql --log-er~d-file=/var/run/mysqld/mysqld.pid --socket=/var/lib/mysql/mysql.sock
14879 be/4 mysql         0.00 K    416.00 K  0.00 %  0.04 % mysqld --basedir=/usr --datadir=/var/lib/mysql --user=mysql --log-er~d-file=/var/run/mysqld/mysqld.pid --socket=/var/lib/mysql/mysql.sock
   58 be/4 root          0.00 K      0.00 K  0.00 %  0.00 % [kswapd0]
14965 be/4 mysql         0.00 K     16.00 K  0.00 %  0.00 % mysqld --basedir=/usr --datadir=/var/lib/mysql --user=mysql --log-er~d-file=/var/run/mysqld/mysqld.pid --socket=/var/lib/mysql/mysql.sock
14959 be/4 mysql         0.00 K     16.00 K  0.00 %  0.00 % mysqld --basedir=/usr --datadir=/var/lib/mysql --user=mysql --log-er~d-file=/var/run/mysqld/mysqld.pid --socket=/var/lib/mysql/mysql.sock
21997 be/4 root     80.00 K      0.00 K  0.00 %  0.00 % sshd: root@pts/0
14961 be/4 mysql         0.00 K      8.00 K  0.00 %  0.00 % mysqld --basedir=/usr --datadir=/var/lib/mysql --user=mysql --log-er~d-file=/var/run/mysqld/mysqld.pid --socket=/var/lib/mysql/mysql.sock
14946 be/4 mysql         0.00 K      4.00 K  0.00 %  0.00 % mysqld --basedir=/usr --datadir=/var/lib/mysql --user=mysql --log-er~d-file=/var/run/mysqld/mysqld.pid --socket=/var/lib/mysql/mysql.sock
14949 be/4 mysql         0.00 K      4.00 K  0.00 %  0.00 % mysqld --basedir=/usr --datadir=/var/lib/mysql --user=mysql --log-er~d-file=/var/run/mysqld/mysqld.pid --socket=/var/lib/mysql/mysql.sock
22561 be/4 apache        0.00 K     12.00 K  0.00 %  0.00 % httpd
14919 be/4 zabbix     1900.00 K      0.00 K  2.72 %  0.00 % zabbix_server: trapper #1 [processed data in 0.003508 sec, waiting for connection]
14920 be/4 zabbix     1280.00 K      0.00 K  0.90 %  0.00 % zabbix_server: trapper #2 [processed data in 0.017864 sec, waiting for connection]
 2189 be/4 zabbix        0.00 K     24.00 K  0.00 %  0.00 % java -server -classpath lib:lib/logback-classic-0.9.27.jar:lib/logba~dFile=/var/run/zabbix/zabbix_java.pid com.zabbix.gateway.JavaGateway
  792 be/4 root          0.00 K     12.00 K  0.00 %  0.00 % [flush-253:0]
14881 be/4 mysql         0.00 K 106432.00 K  0.00 %  0.00 % mysqld --basedir=/usr --datadir=/var/lib/mysql --user=mysql --log-er~d-file=/var/run/mysqld/mysqld.pid --socket=/var/lib/mysql/mysql.sock
14921 be/4 zabbix      948.00 K      8.00 K  0.41 %  0.00 % zabbix_server: trapper #3 [processed data in 0.003887 sec, waiting for connection]
14922 be/4 zabbix     2032.00 K      4.00 K  1.27 %  0.00 % zabbix_server: trapper #4 [processed data in 0.003678 sec, waiting for connection]
14923 be/4 zabbix     1720.00 K      4.00 K  2.77 %  0.00 % zabbix_server: trapper #5 [processed data in 0.004278 sec, waiting for connection]
14924 be/4 zabbix        0.00 K      0.00 K  0.00 %  0.00 % zabbix_server: icmp pinger #1 [got 0 values in 0.000003 sec, idle 5 sec]
26083 be/4 apache        0.00 K      8.00 K  0.00 %  0.00 % httpd
26084 be/4 apache        0.00 K     12.00 K  0.00 %  0.00 % httpd
26085 be/4 apache        0.00 K      4.00 K  0.00 %  0.00 % httpd
26086 be/4 apache        0.00 K      8.00 K  0.00 %  0.00 % httpd
26088 be/4 apache        0.00 K     12.00 K  0.00 %  0.00 % httpd
26089 be/4 apache        0.00 K     16.00 K  0.00 %  0.00 % httpd
26090 be/4 apache        0.00 K      4.00 K  0.00 %  0.00 % httpd

[Виктор Таран]

Dima Kim: Посмотри внимательно на вот это [jbd2/dm-0-8], оно больше всего I-O ест?
И это динамический график копит по процессам сумму статистики. Посмотри через пару часов кто больше накушает.

[Dima Kim]

Виктор Таран: это видимо журналирование тома

[Виктор Таран]

Если тормозит оно то тут тебе несколко вариантов решения. 1 это перейти на ssd фактически этот параметр у тебя упадет до 0% и не будет с него подниматься. У тебя не диски работают сильно а ио проседает из-за обращения к большому количеству фаулов паралельно, каждый раз для этого головка ползет в файловую таблицу ищет имя файла, потом ползет дослудующего имени.

[Виктор Таран]

2. Поднимай sql в память, кешируй все живое, как правило на сайтах ( если это сайты) он хуже всего работает. Ну или пробуй уменьшить количество обращений к файлам.
как вариант можно поизвращяться и запихнуть часто используемые каталоги в файл, отформатированный под ext2 и подмонтированый как устройство, в таком случае поиск будет происходить с физической точки зрения не в файловой таблице а в файле, который работает значительно быстрей. Да и подвержен кешированию.

[Dima Kim]

Виктор Таран: ничего не тормозит, просто алерты выскакивают. Я думал заббикс не успевает записывать в БД, завтра попробую посмотреть через atop. Сервер на 15к дисках, рейд5.

[Виктор Таран]

Dima Kim: зря пятый, если не на хорошем контроллере, то это лишняя математика, притом неоправданная.

Answer 2

[Swartalf]

Как вариант установить atop, установите интервал по сбору стаистики на 1-2 минуты.
После того как забикс покажет повышение нагрузки, то посмотрите в логах atop где и какой процес дал нагрузку