Аномальная нагрузка на сервер — как найти причину?

Question

[Искандер Гиниятуллин]

В общем расклад: есть сервер на debian, Intel Pentium D 2.8 GHz, RAM 4G, 3 x 160 Gb

На нем стандартный набор: mysql + php + nginx + apache + sphinx + exim + dovecot



Крутится на нем 3 сайта, общей посещаемостью порядка 20к хитов в сутки.



Обычно (раньше) нагрузка на сервере (la) не превышала 2, когда выполнялись тяжелые вещи по крону — около 4.



Сегодня начались аномалии: после перезагрузки сервер некоторое время (около 20 минут) работает нормально, а потом начинаются проблемы — LA растет как на дрожжах: 10… 20… 30… доходило до 110



Причем если я вырубаю все что есть, т.е. делаю

/etc/init.r/apache2 stop

/etc/init.r/mysql stop

/etc/init.r/exim4 stop

/etc/init.r/nginx stop

/etc/init.r/cron stop



То LA падает с 20+ до 4-5, но не ниже



Как такое может быть? Что жрет ресурсы сервера когда, казалось бы, все выключено? Как это узнать?

Answer 1

[homm]

rednaxi, на предоставленном скриншоте явно виден процесс searchd, который жрет 750 мегабайт памяти и 2,5% CPU (и бог знает сколько обращений к жесткому диску). Это Сфинкс? И кто кладет свои сессии в /var/www/beboss/data/mod-tmp/ и сколько там сейчас файлов?

Comments

[Искандер Гиниятуллин]

Searchd это сфинкс, да. По идее он должен жрать немного, потому что к этому демону обращений за день редко бывает больше 100

Насчет mod-tmp это какая-то фишка ISP, нашел вот это: forum.ispsystem.com/ru/showthread.php?t=5408
Судя по тому, что при попытке сделать ls находясь в этой папке LA сразу взлетел до 12 — файлов там ооочень много.

Как еще можно узнать, сколько там файлов?

[homm]

Попробуйте так:
find. -type f|wc -l

Но я сильно сомневаюсь, что получится быстрее.

[Искандер Гиниятуллин]

в mc вижу сто общий объем этой папки 293 мегабайта
Попробовал ее очистить (rm -f * находсь внутри этой папки) и в соседнем окне putty слежу за htop и mc — LA уже 25, размер папки не уменьшился ни на килобайт

[Искандер Гиниятуллин]

в общем я пока вырубил в isp-менеджере очистку по крону этой папки, и возникла идея — попробовать ее переименовать, а вместо нее создать такую же пустую

[homm]

rm -f * — плохая идея, ведь звездочка разворачивается башем в полный список файлов. Вместо удаления, он их только читал, поэтому размер не уменьшался.

[Искандер Гиниятуллин]

Понятно, не знал. К сожалению, как я уже писал выше, я не системный администратор, а держать в штате системного администратора выглядит нецелесообразным, потому что это вторая проблема с сайтом за последние полтора года, которая требовала бы вмешательства администратора.

В прошлый раз проблема решилась скачиванием скрипта mysqltuner.pl и установкой рекомендуемых параметров.

В этот раз все не так очевидно оказалось, и если с первой частью (восстановлением файловой системы и починкой таблиц) мы тут еще разобрались, то вот как выявить источники этой аномальной нагрузки — уже непонятно.

Кстати, isp сам восстановил на место задачу про очистку папки mod-tmp, но я ее уже подменил пустой. Перезагрузился еще разок, смотрю как работает.

[homm]

Если задача на очистку есть, то проблема не в самом очистке, а в том, что она по каким-то причинам не выполняется. Например, нет прав. Т.е. через какое-то время проблема может повториться.

[homm]

Знаете, я только сейчас понял, что дерево в списке процессов на вашем скриншоте растет снизу вверх и к Сфинксу это не имеет никакого отношения, а имеет отношение к крону, который ниже.

[Искандер Гиниятуллин]

В общем я сейчас слежу, задача на очистку запускается каждый раз в 09 и 39 минут

На сервере несколько проектов. Папку beboss я почистил, соответственно сейчас он пытается удалить эти файлы из другой папки.

Как бы еще узнать, насколько успешно это у него выходит :)

Кстати, интересно, что у одного из размещенных проектов этой папки вообще нет

[Искандер Гиниятуллин]

А какие есть способы кроме rm -f * почистить папки чтобы сервер не умер от попытки это сделать? Если вручную почистить все

[homm]

Просто не заходите в папку, и не используйте звездочку. Т.е. rm mod-tmp. Но не могли бы вы всетаки попытаться выяснить, сколько там файлов. Чистое любопытство.

[Искандер Гиниятуллин]

Конкретно эту папку я пока переименовал, но сейчас следил за нагрузкой, и LA возросла до 12 во время чистки другой папки.

Сейчас попробую вырубить задачу на очистку и вручную переименую все папки, потом обратно включу и посмотрю что там будет.

LA растет даже на других папках mod-tmp, размером всего по 9 мегабайт (не знаю только сколько это файлов)

[Искандер Гиниятуллин]

Попробовал поставить atop, она мне ничего красным не подсвечивает. Впрочем, возможно это потому что я только что закончил вручную «очищать» все папки mod-tmp, а следующая автоматическая «очистка» будет в 18:09

Пока LA в норме, порядка 0.5. Жду 18:09

[Искандер Гиниятуллин]

Во, удалось в atop-е поймать красный sda
habrastorage.org/storage/5453bf62/7e667c0b/37ac61ee/11504dd2.png

Файловая система ext3, да

[homm]

А теперь еще поставьте iotop и смотрите, кто именно это делает :)

[Искандер Гиниятуллин]

«очистка» вроде прошла спокойно, появилась на секунду в htop-е и пропала

[Искандер Гиниятуллин]

В иотопе, да, mysql сейчас. Но и LA теперь на уровне 0.3-1.0 колеблется

Спасибо за подсказку про mod-tmp, похоже это и было решением. Ну помониторю еще немного что будет с сайтом происходить

Answer 2

[Elkaz]

htop

Comments

[Искандер Гиниятуллин]

habrastorage.org/storage/51b804dc/73935da1/dfe553c3/46d5cce0.png
Это htop после того, как уже все выключил.
LA упал до 3, но все-равно многовато на мой взгляд

[homm]

Очистка сессий в /var/www/beboss/data/mod-tmp/

[homm]

Вообще, вывод было бы лучше отсортировать по используемому процессору, или памяти.

Answer 3

[vbuoc]

Блин, я ссылку на скрин не видел…
Прошу прощения, конец раб. дня…

Comments

[homm]

Продолжайте писать ответы. Один из них рано или поздно окажется правильным. Просто оп теории вероятности.

Answer 4

[vbuoc]

Думаю проблема в mysql на 85% уверен копать туда надо!

Comments

[homm]

Много кофейной гущи ушло? :)

[vbuoc]

Много кофейной гущи ушло? :)
RE: не понял про что Вы.
Cначала htop и если укажет на MySql (а он укажет), надо смотреть медленные запросы (STFF slow query log) и думать, как их улучшить, или менять структуру данных. Ну для начала переиндексацию стоит сделать.

[Олег Матрозов]

Такое ощущение, что вы вопрос не прочитали вообще.

[homm]

> (а он укажет)
Много кофейной гущи ушло?

Answer 5

[GANGTA]

Анонимные посетители :)

Comments

[Искандер Гиниятуллин]

Я подозревал что это могут быть происки конкурентов, но гугление по запросам «диагности ДДОС» и т.д. ничего не дало

Основная проблема в том, что в виду невысокой посещаемости и общей беспроблемности сайтов в штате мы не держим системного администратора (до сегодняшних проблем у сервера был аптайм 177 дней, а до этого 360 дней, а полтора года назад мы просто переезжали из одного ДЦ в другой), и некому поручить разобраться с такими проблемами

Answer 6

[Искандер Гиниятуллин]

Дополнительные сведения: сегодня посреди ночи сервер вдруг повис, предварительно начав ругаться про Too many connetctions

После этого его пришлось перезагрузить, что повлекло за собой порчу файловой системы — пришлось делать fsck -y чтобы его снова запустить

После этого обнаружилось что некоторые таблицы marked as crashed — пришлось сделать myisamchk и восстановить их

После этого сервер вроде как поднялся и все прекрасно заработало, но не надолго — примерно через 20-30 минут работы появились симптомы, которые я описывал.

Нашел на хабре похожую проблему: Debian-сервер умирает, когда MySQL строит индекс. У меня на сайте тоже есть одна таблица на 3.5 миллиона записей, с индексами на 500 мегабайт, в которую довольно активно идет запись (статистика), и она к тому же еще и крешилась сегодня. Попробовал отрубить запись в эту таблицу — ситуация стала лучше, через 40 минут работы сервера LA «всего» 5-6.

Тем не менее, до описанных событий (перезагрузки) все прекрасно работало со старыми настройками

Answer 7

[vbuoc]

Ждем что скажет автор…

Comments

[Искандер Гиниятуллин]

С медленными запросами проблем нет, сайты работают не первый год и узкое место не в них. Резкого скачка посещаемости не наблюдалось (да и с чего бы)

Дописал отдельно, после чего появились симптомы

[vbuoc]

А вычислили из-за чего LA растет?

[vbuoc]

какой сервис? имею в виду