Как понять, почему CentOS лагает без видимых причин?

Question

[phoenixtftf]

В top вроде бы ничего криминального

Но вся система кричит, что она жутко занята, лаги дикие.
Как понять, в чём причина?
Медленное всё - чтение с диска, установка в yum, переключение колонок в top.

UPD

Comments

[ldv]

а htop что покажет?

[ldv]

скорее всего у вас контейнер, и ресурсы отбирают соседи

[phoenixtftf]

ldv: нет, это серьёзный дедик 8 ядер, 16Гб RAM, софтовый RAID1 на четыре диска по парам

[phoenixtftf]

ldv: а htop показывает почему-то загрузку всех ядер на 100%

[ldv]

phoenixtftf: как минимум про память вы ошибаетесь

[ldv]

phoenixtftf: cat /proc/1/cgroup что говорит?

[Mikhail Vasilyev]

mv на 27 секунд это что такое?
dmesg и cat /proc/mdstat (если есть) в студию.

[phoenixtftf]

ldv: извиняюсь, 32Гб, увеличивали

[ldv]

может rootkit ? unhide'ом каким-нибудь посмотрите

[phoenixtftf]

ldv: блин. Это правда то, что я думаю?

Found HIDDEN PID: 2642
        Cmdline: "/usr/bin/_-minerd"
        Executable: "/usr/bin/_-minerd"
        Command: "_-minerd"
        $USER=<undefined>
        $PWD=/

[ldv]

phoenixtftf: ну, майнер ) видимо оно

[phoenixtftf]

ldv: аж же ж !!*:№?*;:№*?"%;№":?*%; охренеть, короче)
да, майнил майнер на всех 8 ядрах.
www.webhostingtalk.com/showthread.php?t=1512831
И дальше бы майнил, если б такой жадный не был, и все ресурсы не сожрал.

[phoenixtftf]

ldv: огромное спасибо за подсказку!)
интересно, тот clamav, который я поставил и уж было запустил, нашёл бы его)

Answer 1

[phoenixtftf]

Спасибо всем за помощь.
Оказалось, на сервере завёлся руткит, запускавший биткоин-майнера на все 8 ядер.
Как именно он попал на сервер, пока не знаю, как узнаю, буду огораживаться.
Вот тут его обсуждают www.webhostingtalk.com/showthread.php?t=1512831
А тут краткая инструкция по удалению www.ipserverone.info/uncategorized/server-abnormal...

За ключевую подсказку спасибо ldv

Answer 2

[Константин]

а какие характеристики системы? la в 40 вслепую тяжело оценивать + посмотрите какая очередь на запись/чтение стоит. возможно, дисковая система убивает производительность. подобное было, когда развернул громадный zabbix на mysql на совсем не скоростных дисках - выстроилась громадная очередь на запись данных
[upd] iostat вывод какой?

Comments

[phoenixtftf]

iostat
Linux 2.6.32-431.1.2.0.1.el6.x86_64 (boldyrev.localdomain)      03/28/2016      _x86_64_    (8 CPU)

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
          99.41    0.00    0.28    0.02    0.00    0.29

Device:            tps   Blk_read/s   Blk_wrtn/s   Blk_read   Blk_wrtn
sda             128.96       307.45      5901.17    2453022   47083520
sdc              30.88      5772.54       156.30   46057202    1247066
sdb             125.67        73.70      5901.17     587995   47083520
sdd               6.79       176.85       156.30    1411064    1247066
md2             733.02        55.11      5847.48     439682   46655120
md0               1.16        23.92         0.14     190850       1128
md1              23.73       300.81        48.02    2400082     383160
md3              66.47      5949.30       156.09   47467538    1245408

Это raid, довольно сложносочинённый, но мне кажется, не в этом дело.
Диски проверяли, целые.

[Константин]

phoenixtftf: так а в чем у вас причина загрузки на 100% 8 ядер? довольно большой la то выходит по факту

Answer 3

[Mikhail Vasilyev]

Дык у вас крутится mv, который куда-то фигачит базу мускуля. Между файловыми системами, вероятно. Работающего, вероятно. Оно и тормозит.

Comments

[phoenixtftf]

Нет, это точно не то, это мигрируют бекапы mysql, чтобы диск освободить (как проверка одной из возможных причин). Картина была такой же и до запуска mv.

Answer 4

[Влад Животнев]

Openvz, небось?
Соседи весь CPU потратили.