Тормозит сервер, как определить и устранить причину?

Question

[Дмитрий Масленников]

Сегодня в 11:30 на сервере появились тормоза, скрипты стали работать в 5-10 раз медленнее (никаких кардинальных изменений не вносилось). Временами отпускает, все возвращается на короткое время в норму, потом снова все начинает тормозить.

По статистике в Munin есть подозрение, что это из-за сетевой активности, но точно не могу сказать, нужна помощь знающего человека.

Какие нужны скриншоты и данные, чтобы понять в чем дело?

Данные с atop:


Данные htop:


Данные netstat из munin (спецэффекты начались с 11:30):

Comments

[devalone]

А что на апаче крутится?

[Дмитрий Масленников]

там сайт и бот (индексирует социальные сети, в частности вк). после тормозов скорость его работы замедлилась в 5-10 раз.

[Дмитрий Масленников]

тормоза есть как с включенным ботом, так и без него

Answer 1

[Fixid]

Побуду кэпом, тормозит apache2
Что в access/error логах? Возможно получился DDoS вместо поиска уязвимостей ботом.
Сколько не 200х ответов за последние сутки?

На всякий случай покажите iotop, htop по F5 с апачем

Comments

[Дмитрий Масленников]

там ничего криминального, лог ошибок пустой. лог other_vhosts_access также не содержит подозрительных записей.

[Дмитрий Масленников]

добавил данные с htop

[Дмитрий Масленников]

добавил данные netstat из мунина.
по apache - не 200-сотых ответов практически нет, там все в норме.

[Fixid]

Дмитрий Масленников: я бы посоветовал для начала (даже не разбираясь с текущей проблемой) поставить nginx в режиме прокси и если проблема не пропадет, тогда уже погружаться в дебри статистики сервера и апача

[Дмитрий Масленников]

а там как раз и стоит nginx в качестве проксирующего сервера

[Fixid]

Дмитрий Масленников: Тогда получается что проблема не в коннектах как таковых, какой-то php скрипт пытается перемолоть какие то данные и жрет CPU. Есть статистика самых запрашиваемых страниц с 11.00?

[Дмитрий Масленников]

все же подозреваю, что проблема со стороны хостера. написал заявку, завтра буду ждать ответ.

[Дмитрий Масленников]

вот данные по CPU.

[Fixid]

Дмитрий Масленников: график ни о чем. соберите статистику самых посещаемых страниц в пике

Answer 2

[Виктор Таран]

iotop -oka

Comments

[Дмитрий Масленников]

вот что выдает iptop

[Дмитрий Масленников]

и еще один вывод:

[Виктор Таран]

Дмитрий Масленников: не еще один вариант а вы хоть подержите это минут 10 он стату накопит.

Answer 3

[Дмитрий]

По скрину видно загрузку по диску + 1 зомби процесс. Думаю стоит начать копать с этой стороны. И не совсем понятно с какого перепугу ntpd попал в вывод. Уж его то там не должно быть точно. Атака на ntp, наскол ко я помню, пользовалась популярностью не так давно.
Попробуйте проанализировать трафик на внешнем интерфейсе.

Comments

[Дмитрий Масленников]

по трафику все норм.

вот данные по процессорной нагрузке, сразу видно что после 11:30 понедельника упало общее количество ресурсов процессора. то есть дело не в том, кто именно грузит сервер, а почему резко упало количество ресурсов CPU.

[Дмитрий]

Дмитрий Масленников: Честно говоря не понимаю что вы имеете в виду под "упало количество ресурсов CPU"
idle ползет вниз пропорционально росту нагрузки.
Все что можно увидеть из этого графика - возросшую нагрузку и дыры, видимо из-за проблем с коннективити.
Если подозрительного трафика действительно нет, то смотрите на производительность запущенных процессов.
Без динамики сложно понять что там происходит, но я бы предположил затупы apache из-за затупов mysql по диску.

Answer 4

[Erelecano Oioraen]

Для начала избавьтесь от мунина, он жрет, как не в себя(что у вас в htop хорошо видно). Мониторить нужно ПО для этого предназначенным, а не подобными глюкавыми поделками, откройте для себя заббикс. Ну или хотя бы временно пристрелите мунина, что бы посмотреть.

Comments

[Дмитрий Масленников]

вот данные по процессорной нагрузке, сразу видно что после 11:30 понедельника упало общее количество ресурсов процессора. то есть дело не в том, кто именно грузит сервер, а почему резко упало количество ресурсов CPU.

Answer 5

[Pan Propan]

Где работаешь? Не слышал про атаку ЦРУ, АНБ?