Какие утилиты использовать для расследования загрузки сервера на centos?

Question

[Александр]

Всем привет.
Помогите в "расследовании" внезапной нагрузки сервера.
На этом сервере работают сайты на wordpress, сайты не большие и посещаемость также не высокая.

А вот такие всплески за вчерашний день:

Подскажите пожалуйста какие команды использовать для того что бы найти причину этих внезапных нагрузок. Какой именно процесс нагрузил сервер.
Опишите пожалуйста как бы вы действовали в такой ситуации.

Вот что показывает sar -u

02:10:01 AM     all     85.92      0.00     14.06      0.00      0.00      0.02
02:20:01 AM     all     83.60      0.00     12.96      0.16      0.00      3.27

Answer 1

[arakchi]

На мой взгляд, самый простой вариант без настройки разных систем составных мониторинга (zabbix and etc) это atop. По умолчанию, он даёт статистику за 10 минутный интервал, но это можно изменить. Учитывая, что у Вас CentOS не забудьте добавить его в автостарт (он автоматом туда не добавляется). По крайней мере ответить на вопрос "какой процесс нагружает" он часто поможет и укажет в какую сторону копать.
К сожалению, если выяснится что это какой нибудь apache, mysql, php Вам всё равно крайне желательно будет застать сам процесс в момент нагрузки и смотреть, что он непосредственно делает, собирая о нём информацию всякими strace, lsof или более специфичными инструментами. Так же полезно будет настроить для него расширенное логирование.
Как правильно заметил alfss, общения с логами, скорее всего, не избежать. Редко они даже дают понять и без мониторинга, в чём проблема. Однако их анализ трудоёмок и не всегда приводит к результатам, особенно если не знать, что искать и как логи выглядят обычно (когда сбоев нет).

Answer 2

[Everything_is_not_so_bad]

Стоит начать с анализа логов веб-сервера за последние 3 дня с целью узнать количество обработанных запросов в каждый час. Для этой цели можно воспользоваться утилитой q.
Нагрузку могут создавать поисковые боты и сканеры всяких malware.

Answer 3

[rionnagel]

htop, atop, strace, iotop для начала. Что потом может вырасти в полномасштабное расследование и сбор статистики/обработки логов заббиксом, elk, какой-нибудь системой предотвращения вторжений либо чем выберете с вероятным возвратом опять к strace.