Чем может быть вызван странный и высокий loadaverage в ubuntu?

Question

[Пума Тайланд]

На убунте за последние две недели равномерно рос loadaverage, сейчас он равен 17.
На сервер 16 ядер, 132гига оперативы, хардварный рейд из ssd и никакущая нагрузка, памяти свободной 100 гигов, процы на 99% простаивают, на дисках почти нулевая активность и куча свободного места.
Заметил странность в топе время от времени продскакивает один апач и kworker с cpu usage 9999, наверно где то тут и кроется причина, как диагностировать такую проблему,
Обычно в топе сразу видно кто жрет процессор, но тут процессоры свободны и не понятно откуда растет очередь к ним.

Answer 1

[Степан]

wa случайно не растет в момент когда растет la?

Comments

[Пума Тайланд]

wa это diskio?
Если да то я написал что он близок к нулю и никто не ждет диска, да и диски там ссд. iotop не показывает какой то аномальной активности, да и обычной посещалки там не густо.

Answer 2

[Сергей Петриков]

cat /proc/interrupts интересно увидеть.

Comments

[Пума Тайланд]

files.pumainthailand.com/web/interrupts.txt

Answer 3

[Gasoid]

вообще -то фигня, ла =17 ядер 16
17/16 = 1.06
получается не так страшно, а система не напрягается совсем,

Comments

[Пума Тайланд]

Ну как сказать, а если будет 40 то что тогда?
Должно быть 0 а тут 17, так то рассуждать и при 100 система не напрягается

[luckyredhot]

0 у вас будет, когда сервер выключите)))

[Пума Тайланд]

ноль там было целый год до этого

[beastea]

перечитайте http://ru.wikipedia.org/wiki/Load_Average

Answer 4

[Pavel Dolinin]

Слышал недавно о похожей проблеме. И как бы это не звучало странно виновато было ядро которое было "generic" и постоянно пыталось обоатиться к флопи диску, который был заинейблен в BIOS. Проблема была решена простым отключением ненудных устройств.

И я в первые слышу что load надо делить на количество процессоров или ядер! У нас на продакшене компы по 16 ядер и при load 45 я уже нотификейшены получаю о критической нагрузке, при таком load-е сервис уже почти не доступен.

Answer 5

[kenny_opennix]

поставьте htop,посмотрите iostat, iptraf,sar. А так по сриншоту видно что апач. :) Перед ним поставьте nginx и думаю нагрузка упадет

Comments

[Пума Тайланд]

причем тут апач то, он потребляет по 1 проценту от ядра, а ядер ажно 16 ? как нгинкс ему поможет? во всех статах ничего не прибавилось, судя по всему как то связано с ипми.