Как поймать, что дает высокий Load Average?

Question

[Ярослав]

На сервере (linux) иногда очень высокий Load Average. Хочется узнать, из-за чего.
Проблема в том, что когда проблема случается, никто это в момент не замечает чтобы через секунду смотреть, а когда "просыпаемся" - смотреть уже и поздно. Нужно чтобы какой-то скрипт "дежурил", следил за LA и при высоком LA собирал бы какие-то данные о состоянии сервера.

Что я хотел бы узнать:
- Текущее время, load average
- Топовые процессы по потреблению CPU/RAM (как дает top)
- Список активных HTTP/HTTPS соединений
- show processlist из mysql
- самые быстрорастущие файлы в /var/log/nginx (/var/log/apache2)
- может быть - последние запросы в этих файлах, или самые активные IP адреса клиентов в них

Есть ли что-то подобное, что может быть часть этих функций делает? (сейчас просто shell скриптом каждые 5 мин скидываю подобную информацию, может быть есть более удобный способ)

Comments

[Евгений Хлебников]

Проблема в том, что когда проблема случается

а какая проблема то? просто скачок метрики?

Answer 1

[Виктор Таран]

1. поставь munin с плагинами на веб сервер -там будет 99% видно где кто и когда дешево и сердито.
2. iotop -oka тоже даст понимания особенно если это I-O проблема.
3 Поздравляю вас ддосят, можно проверить по аксесс логу апача или по подключениям

netstat -ntu | awk '{print $5}' | grep -vE "(Address|servers|77.37.156.60|79.137.175.245|192.168.5.201|95.163.251.234|127.0.0.1|8.8.8.8|8.8.4.4)" | cut -d: -f1 | sort | uniq -c | sort -n| sed 's/^[ \t]*//'

смотрим если там все плохо вас ддосят, плохо это по факту если больше 5 подключений на ip или этих подключений целая куча.

Comments

[Sanes]

Больше пяти подключений может и один клиент сделать.

[Виктор Таран]

Sanes, да безусловно но если вы видите картину в виде 1000 подключений и таких по 5 у вас целая сотня, с посещаемостью сайта в 3000К в день, это явно говорит что было бы не плохо всех кто выше закинуть в бан на часок.
Ддос вообще вещь индивидуальная под каждый сайт свои моменты.
я обычно от 20 подключений режу , но если все совсем плохо то снижаю до 5.

[Sanes]

Виктор Таран, до 5 подключений надо иметь супер оптимизированный код. Либо выставлять ограничения в минуту.

[Виктор Таран]

Sanes, причем тут оптимизированный код? мы же не про запросы в бд говорим.

[Виктор Таран]

https://habr.com/ru/articles/260335/ возможно эта статья поможет взглянуть на Load Average более детально и понять где искать

Answer 2

[ky0]

Установите atop в режиме хранения истории. С помощью него найдёте виновника - и можно будет диагностировать дальше более узко.