Каждый день падает apache2 и mysql (под Debian) из-за Out of memory, куда копать?

Question

[gregorypetrov]

Несколько сайтов работает на веб-сервере с Debian 7 Wheezy + LAMP.
В течение этой недели, каждый день наблюдаю такую картину - в произвольное время (иногда днем, иногда ночью) пропадает соединение сайтов с БД, в результате чего они становятся неработоспособными.

Приходится перезагружать сервер (после ребута все нормально работает некоторое время, до следующего падения).

Поставил logswatch, в отчетах увидел, что "убиваются" процессы apache2 и mysql из-за нехватки памяти.

1 Time(s): Out of memory: Kill process 20879 (apache2) score 39 or sacrifice child
1 Time(s): Out of memory: Kill process 20882 (apache2) score 35 or sacrifice child
1 Time(s): Out of memory: Kill process 20897 (apache2) score 35 or sacrifice child
1 Time(s): Out of memory: Kill process 20898 (apache2) score 36 or sacrifice child
1 Time(s): Out of memory: Kill process 20899 (apache2) score 36 or sacrifice child
1 Time(s): Out of memory: Kill process 20901 (apache2) score 35 or sacrifice child
1 Time(s): Out of memory: Kill process 2605 (mysqld) score 36 or sacrifice child 


1 Time(s): Killed process 20879 (apache2) total-vm:125048kB, anon-rss:81644kB, file-rss:0kB
1 Time(s): Killed process 20882 (apache2) total-vm:118400kB, anon-rss:72496kB, file-rss:56kB
1 Time(s): Killed process 20897 (apache2) total-vm:118256kB, anon-rss:73512kB, file-rss:276kB
1 Time(s): Killed process 20898 (apache2) total-vm:120304kB, anon-rss:74688kB, file-rss:20kB
1 Time(s): Killed process 20899 (apache2) total-vm:121328kB, anon-rss:75776kB, file-rss:4kB
1 Time(s): Killed process 20901 (apache2) total-vm:119536kB, anon-rss:73292kB, file-rss:0kB
1 Time(s): Killed process 2605 (mysqld) total-vm:348892kB, anon-rss:76160kB, file-rss:0kB

Логи mysql почему-то пустые.

В каком конкретно направлении копать, чтобы выяснить, что именно так забивает память, что вышибает веб-сервер и СУБД? Есть какие-нибудь инструменты, чтобы отследить источник такой нагрузки "задним числом"?

Comments

[d'Ivan]

Сколько памяти установлено?
Сколько сайтов и на каком технологическом стеке или движке?

[gregorypetrov]

2 Гб, сайты - на MODx Revo.
Раньше (в течение многих лет) такой проблемы не наблюдалось.
Посещаемость не очень высокая, и в последнее время не было ее значительного роста.

Answer 1

[ТыжСисАдмин]

Ваши процессы прибивает OOM Killer - в связи с не хваткой ресурсов ОЗУ и SWAP.
Необходимо произвести настройку MySQL в соответствии с имеющимися ресурсами а также Apache посадить на диету. В принципе подумать об избавления от апача вовсе и заменить на Nginx.

Есть какие-нибудь инструменты, чтобы отследить источник такой нагрузки "задним числом"?

Любой мониторинг - Zabbix, Nagios и т.д.
Вроде, из утилит, atop умеет вести стату за период, но не помню умет ли в лог писать.

P.S. Можно попросить OOM не трогать ваши процессы но тогда заместь out of memmory вы можете отхватить kernel panic :)

Comments

[Fixid]

atop по дефолту всегда пишет суточный лог

[ТыжСисАдмин]

Fixid, Вот честно не помню, давно не лазил руками, zabbix агента втыкнул, нужные метрики накатал и не паришься :)
Вот нынче prometheus хочу покрутить но времени не хватает.

[Fixid]

ТыжСисАдмин, Мне prometheus не понравился, zabbix поинтереснее

[ТыжСисАдмин]

Fixid, у прометеуса логика другая, но он мне интересен тем что WEB метрики в него отлично должны кидаться, в заббикс это слегка проблематично, да и в принципе интересно :)

Answer 2

[d'Ivan]

Во-первых, логи Apache должны показать какая активность была в прошлом. Оттуда можно извлечь статистику запросов (кол-во) и по сайтам в отдельности и в совокупности. Типичной причиной внезапной нагрузки могут быть поисковые боты, а также сканеры уязвимостей.
Во-вторых, стоит установить на сервер агент munin-node и вести мониторинг с другого сервера.
В-третьих, возможно, настала пора отделить MySQL в отдельный сервер.

Comments

[ТыжСисАдмин]

К сожалению активность не есть потребляемые ресурсы.
Если там крутятся WP то уложить слабый сервак можно одним запросом :)

Answer 3

[Виктор Таран]

вводные данные где, где системные ресурсы.
Где логи
Где конфиги?
тут знаете ли не телепаты живут

Answer 4

[Semal]

Apache и забирает всю память, смотреть в сторону memcache, неплохо помогает, прикрутить nginx как прокси или вообще перейти полностью на него, ну и вынести mysql отдельно не помешает