Как найти причину нагрузки на процессор?

Question

[Андрей]

Добрый день всем
на сервере очень странные пики нагрузки, в момент пика нагрузка на CPU прыгает от 2-3 до 100-150. И произойти это может в 7 утра, когда нормальной нагрузке на сервере минимум.

На сервере крутится nginx + php-fpm, redis, rabbitmq. Базы данных нет, она на другом сервере.

В момент пика количество запросов через nginx падает, сетевой трафик тоже почти в ноль уходит. Не можем понять каким образом можно выйти на источник этого.

Сами пики кратковременные 2-3-5 минут.




Буду благодарен за помощь с определеним источника этой нагрузки

Answer 1

[Power]

Насколько я понимаю, cpu не при чём. На последнем графике явно виден пик iowait, значит, вам надо смотреть в сторону дисковой активности и всего такого. Настройте мониторинг IO, там будет понятно.

Comments

[Андрей]

Буду благодарен если посоветуете чем IO помониторить. В целом посмотреть могу, а вот кто конкретно дает нагрузку непонятно.

Answer 2

[Владимир]

запустить atop в режиме сбора статистики в лог
после пика в режиме анализа логов уже смотреть что происходило

Answer 3

[Сергей]

1. Смотрите логи всех служб, которые есть на сервере, что было в это время, что они делали?
2. Если пики всегда в определенное время, надо искать причину, например в cron?
3. Может это хостер использует все потоки и ресурсы, чтобы делать какие-то свои задачи, например бэкапы? У Вас же виртуальный выделенный сервер, вы используете часть процессорных возможностей, а они могут при нужде использовать в том числе Ваши ресурсы.

Comments

[Андрей]

сервер выделенный, сами в это время бэкапы не делаем
за вчера такие пики были несколько раз, какой-то определенной периодичности нет

Answer 4

[Андрей]

похоже что проблема в банальной нехватке памяти
Сервер 16Gb памяти
redis 7 Gb
php-fpm 5-8 Gb

Думаю малейшие перегрузки по памяти приводили к свопу или отказам. Подтверждений правда пока не увидел. Расгрузил сервер, убрал часть нагрузки на запасной, посмотрим как сегодня на пике нагрузки будет.

P.S. Спасибо за наводку на newrelic - штука офигенная, но и дорогая собака

Answer 5

[Пума Тайланд]

видно что затык по диску, либо система в свап ушли либо диск начали актитвно юзать

Answer 6

[Eternalko]

Можете также воспользоваться логгерами типа newrelic / appDynamics. Помогает

Comments

[Андрей]

у нас стоит заббикс
они лучше умеют?

[Андрей]

поставил newrelic
надеюсь даст больше инфы чем то что у нас есть в заббиксе

[Eternalko]

Я когда искал APM, то стало понятно что есть старая и новая лига. Старая это java и банки новая это про интернет сервисы. По сути тоже самое но есть разница в простоте / удобстве использования.

[Андрей]

newrelic реально впечатляет
после самонастроенного заббикса - все красиво быстро и понятно
можно конечно и заббикс настроить, но получить в одном месте клиентские данные и серверные достаточно геморройно. Метрика и Google Analytics не дают такой четкой картинки

[Eternalko]

Абсолютно согласен. Эти APM "нового поколения" хороши тем, что можно во первых быстро увидеть причины проблемы, а чаще, увидеть критические места еще до того как пользователи заметят что что-то не так.
Рад что понравилось :)

Answer 7

[Сергей Петриков]

Если ванговать, дисковую подсистему у вас местами плющит, по симптомам похоже, ну и красный график нижнего скрина - подтверждает. Проверьте состояние рейда, если ОК, смотреть что в это время диск грузит, может ротация логов какая, кеш кто-то на диск сбрасывает или еще что-то.