Почему периодически отваливается linux-сервер?

Question

[svtrimb]

Приветствую всех.

Имеется почтовый сервер на Debian, который после стабильной работы в течение нескольких лет стал "отваливаться" несколько раз в день на 5-7 минут. Выглядит это так: любой веб-интерфейс сервера (например Roundcube) перестаёт открываться ("невозможно подключиться к серверу"), при попытке подключиться через putty по ssh- просто висит чёрное окно подключения без приглашения к авторизации, но при этом никакой ошибки типа "network error connection" не выскакивает. При этом всём сервер пингуется, потери пакетов нет. Спустя 5-7 минут "отвала" прежняя работоспособность сама восстанавливается

Смотрел логи mysql,apache2, error и syslog - пустота или ничего подозрительного.

С чем же могут быть связаны такие глюки? Что можно ещё применить для диагностики?

Comments

[Александр]

Все что угодно ...
Начиная от выгорания железа до банального взлома или DDoS

Через PuTTY ssh на отдельный монитор и команда top на весь день + netstat
Графики какие нибудь выложи ... не понятно сколько соединений, памяти, процессов ....

Диагностика сервера linux

Answer 1

[Alexey Dmitriev]

1. Проверить SMART жестких дисков.
2. Подключить мониторинг и проверить на предмет непонятных всплесков IO\CPU\RAM.
3. Проверить загрузку канала на предмет тех-же непонятных всплесков трафика.
3. Если у вас нет поддержки сервера со стороны ОС - обновления, файрвол и.т.п. (а логично предположить, что если бы она была бы - здесь вопросы бы не задавались) - значит вероятно, сервер взломан и используется кем-то, что и вызывает нагрузки. Либо просто DDOS прилетает откуда-то.

Answer 2

[ValdikSS]

Смотрите журнал ядра (dmesg). Возможно, что переполняется таблица conntrack или что-то подобное.

Comments

[svtrimb]

Спасибо всем за советы!

Судя по всему виновник глюков- ClamAV:
В журнале dmesg обнаружил следующее: Out of memory:Kill process 32286 (clamd) score 465 or sacrifice child
И через утилиту top заметил, что иногда по непонятной причине процессы clamd и clamscan в течение минут 10-15 начинают использовать процессор на 98-99% (но использование оперативы при этом нормальное)

В сетевых подключениях через ss и netstat ничего подозрительного не увидел.

Пока буду думать, как усмирить ClamAV.

[svtrimb]

В общем зависание сервера всё-таки действительно было связано с большим потреблением оперативной памяти ClamAV (что и было написано в dmesg);

Т.к. физической ОЗУ под рукой не оказалось, создал swap- файл на сервере в 4Гб- теперь всё работает стабильно (полёт нормальный в течение двух недель)