Мониторинг падения сервера

Question

[tuxx]

Есть сервер с nginx+apache+mysql. Последнее время начал падать по 2-3 раза в день по неизвестным причинам. Техподдержка пищет:

На Вашем сервере закончились свободные сокеты, которые ограничены лимитом numtcpsock. Для решения вопроса, пожалуйста, проанализируйте логи сайта /var/www/httpd-logs/system-domain.ecmake.com.error.log. Свободные сокеты со временем заканчиваются из за висящих соединений созданных Вашим сайтом. Пример Вы можете видеть ниже.

tcp 0 1 46.254.21.191:39883 66.249.65.17:9001 SYN_SENT 23044/apache2
tcp 0 1 46.254.21.191:38568 5.255.253.50:9001 SYN_SENT 23042/apache2
tcp 0 1 46.254.21.191:37929 5.255.253.50:9001 SYN_SENT 23052/apache2
tcp 0 1 46.254.21.191:38015 5.255.253.50:9001 SYN_SENT 23042/apache2
tcp 0 1 46.254.21.191:39907 66.249.65.17:9001 SYN_SENT 23044/apache2
tcp 0 1 46.254.21.191:38252 5.255.253.50:9001 SYN_SENT 23042/apache2
tcp 0 1 46.254.21.191:35325 5.255.253.50:9001 SYN_SENT 23052/apache2
tcp 0 1 46.254.21.191:37373 95.108.244.252:9001 SYN_SENT 23044/apache2
tcp 0 1 46.254.21.191:35964 5.255.253.50:9001 SYN_SENT 23052/apache2
tcp 0 1 46.254.21.191:37034 5.255.253.50:9001 SYN_SENT 23044/apache2
tcp 0 1 46.254.21.191:36901 5.255.253.50:9001 SYN_SENT 23042/apache2
tcp 0 1 46.254.21.191:37785 95.108.244.252:9001 SYN_SENT 23042/apache2
tcp 0 1 46.254.21.191:36415 95.108.244.252:9001 SYN_SENT 23052/apache2
tcp 0 1 46.254.21.191:36127 5.255.253.50:9001 SYN_SENT 23052/apache2
tcp 0 1 46.254.21.191:36384 5.255.253.50:9001 SYN_SENT 23042/apache2
tcp 0 1 46.254.21.191:39003 66.249.65.80:9001 SYN_SENT 23044/apache2
tcp 0 1 46.254.21.191:39899 66.249.65.17:9001 SYN_SENT 23044/apache2
tcp 0 1 46.254.21.191:35698 95.108.244.252:9001 SYN_SENT 23042/apache2
tcp 0 1 46.254.21.191:39842 66.249.65.17:9001 SYN_SENT 23044/apache2
tcp 0 1 46.254.21.191:43383 66.249.65.2:9001 SYN_SENT 23044/apache2
tcp 0 1 46.254.21.191:38694 5.255.253.50:9001 SYN_SENT 23052/apache2
tcp 0 1 46.254.21.191:37822 5.255.253.50:9001 SYN_SENT 23052/apache2
tcp 0 1 46.254.21.191:38137 5.255.253.50:9001 SYN_SENT 23052/apache2
tcp 0 1 46.254.21.191:38981 66.249.65.80:9001 SYN_SENT 23044/apache2
tcp 0 1 46.254.21.191:36566 95.108.244.252:9001 SYN_SENT 23044/apache2
tcp 0 1 46.254.21.191:35944 95.108.244.252:9001 SYN_SENT 23042/apache2
tcp 0 1 46.254.21.191:37464 5.255.253.50:9001 SYN_SENT 23052/apache2
tcp 0 1 46.254.21.191:36762 5.255.253.50:9001 SYN_SENT 23044/apache2
tcp 0 1 46.254.21.191:38408 66.249.65.80:9001 SYN_SENT 23044/apache2
tcp 0 1 46.254.21.191:37328 5.255.253.50:9001 SYN_SENT 23042/apache2
tcp 0 1 46.254.21.191:35469 5.255.253.50:9001 SYN_SENT 23042/apache2
tcp 0 1 46.254.21.191:38366 5.255.253.50:9001 SYN_SENT 23052/apache2
tcp 0 1 46.254.21.191:35209 5.255.253.50:9001 SYN_SENT 23042/apache2
tcp 0 1 46.254.21.191:35834 5.255.253.50:9001 SYN_SENT 23044/apache2
tcp 0 1 46.254.21.191:37709 5.255.253.50:9001 SYN_SENT 23044/apache2
tcp 0 1 46.254.21.191:37139 5.255.253.50:9001 SYN_SENT 23052/apache2
tcp 0 1 46.254.21.191:37590 5.255.253.50:9001 SYN_SENT 23042/apache2
tcp 0 1 46.254.21.191:35593 5.255.253.50:9001 SYN_SENT 23044/apache2
tcp 0 1 46.254.21.191:36367 5.255.253.50:9001 SYN_SENT 23052/apache2
tcp 0 1 46.254.21.191:36184 95.108.244.252:9001 SYN_SENT 23044/apache2
tcp 0 1 46.254.21.191:36748 95.108.244.252:9001 SYN_SENT 23052/apache2
tcp 0 1 46.254.21.191:36073 5.255.253.50:9001 SYN_SENT 23044/apache2
tcp 0 1 46.254.21.191:36505 5.255.253.50:9001 SYN_SENT 23042/apache2
tcp 0 1 46.254.21.191:35724 5.255.253.50:9001 SYN_SENT 23052/apache2
tcp 0 1 46.254.21.191:36723 5.255.253.50:9001 SYN_SENT 23042/apache2
tcp 0 1 46.254.21.191:36649 5.255.253.50:9001 SYN_SENT 23052/apache2
tcp 0 1 46.254.21.191:43393 66.249.65.2:9001 SYN_SENT 23044/apache2
tcp 0 1 46.254.21.191:38960 66.249.65.80:9001 SYN_SENT 23044/apache2
tcp 0 1 46.254.21.191:36245 5.255.253.50:9001 SYN_SENT 23042/apache2

Сам system-domain.ecmake.com.error.log за день разрастается до 2-3 гигов, но ничего кроме PHP Notice и Stack trace в нем нет. Подскажите как можно выловить проблемные участки.

UPD. Посл последнего падения получил от техподдержки сообщение:

Здравствуйте.

Проблема возникала из-за нехватки памяти для буфферов веб-серверов. Параметры apache и nginx подкорректированы. Если проблема возникнет вновь, сообщите.

Answer 1

[Влад Животнев]

Из-за чего повышенное потребление памяти на VPS?
Кто-нибудь пользуется услугами vpsget.com?
итд.

Вкратце, переезжайте на Xen или KVM.

Comments

[tuxx]

начальство пока не согласно перезжать на что-то другое, но я пытаюсь их уговорить

[Влад Животнев]

@tuxx ну тогда поставьте nginx перед apache и выключите в нём keepalive в обе стороны (к клиентам и к апачу).

[tuxx]

nginx стоит. он работает отлично. попробую ваш совет

[tuxx]

keepalibe уже отключен

[Влад Животнев]

@tuxx ну,судя по кол-ву коннектов, keepalive у вас таки включен. А если нет - то ресурсов виртуалки вам недостаточно (в частности - количества разрешенных ей активных коннектов, в которые входят и keepalive-сессии). А здесь мы возвращаемся к вопросу о куче лимитов в openvz, которые обожают выставлять хостеры, и совету уехать с openvz.

[tuxx]

похоже только это и остается. только вот я не понимаю как могло упереться в лимит если количество пользователей хоть и увеличилось, но общая посещаемость практически не поднялась

[Влад Животнев]

@tuxx увеличилось количество одновременно активных подключений (как к серверу, так и от сервера, например к внешним API, так и внутри сервера).

[tuxx]

в общем перехож на xen или kvm. не подскажете хорошего хостера?

[Влад Животнев]

@tuxx
digitalocean.com
flops.ru

У них (с оглядкой на то, что в России цены на хостинг в 2 раза выше обычно - про flops) конкурентов по цене-качеству нет.
Если размера ssd-дисков мало, то проще подловить вот здесь www.kimsufi.com/fr/#servers подходящий выделенный сервер за копейки (с двумя дисками, чтобы raid собрать). За 12.5 евро вполне себе можно взять топовый атом старых поколений.

[tuxx]

буду изучать. спасибо за совет

[sim3x]

@inkvizitor68sl
а у kimsufi
- антиддос услуга не фикция
- насколько толстые каналы
- есть ли ограничение по трафику?
на сайте не нашел инфы

[Влад Животнев]

@sim3x
> антиддос услуга не фикция
Не то чтобы фикция, но и чуда ожидать не стоит. Стандартные атаки (вроде dns-ampf или udp-флуда) оно режет автоматом, по запросу в саппорт вроде как отбивают атаки ручками, если написать, как именно атакуют. Но до саппорта у меня ни разу не добиралось, я сам быстрее отбиваюсь, кроме UDP-атак.
За входящий ддос не отключают, в отличии от hetzner (разве что в вас 20+ гбит прилетит, но это нужно ворочать большими деньгами или порно).

> насколько толстые каналы
на кимсуфных - 100 mpbs. Наружу у хостера - с большим запасом.

> есть ли ограничение по трафику?
5ТБ, потом порт переключают в 10 mbps. Но, люди пишут, что у них багованный биллинг на эту тему и он считает меньше, чем реально потреблено (в итоге, ни у кого эти 10 mbps никогда не включались). Может починили.

Answer 2

[Олег Войтенко]

или просто отключите для начала keepalive для соединений, чтобы не плодились и не висели по пол дня