Несколько раз в сутки зависают все сайты на сервере. Помогает только init 6. В чем может быть проблема?

Question

[Виталий]

Добрый день. Уже несколько дней на сервере проявляется странная проблема - зависают все сайты напрочь и спасает только init 6. в htop загрузка процессора падает почти до 0. iotop тоже почти ноль показывает. iftop - аналогично.

в логах апача ничего. в логах nginx:
В nginx 229892 upstream timed out (110: Connection timed out) while connecting to upstream, client

Работает все в связке apache + nginx.

Рестарт апача и nginx не спасает. после их рестарта только 1-2 секунды открываются страницы, потом снова все зависает.

Система - Ubuntu 16.04 .
Apache/2.4.18 (Ubuntu)
nginx version: nginx/1.12.2

Еще пару дней назад завелся какой-то вирус майнер монеро. был запущен из директории /tmp и грузил проц на 100%. не знаю связано это с этим или нет, но вирус я видел только два раза. а сайты отваливаются каждые 5 часов.

откуда вирус запускается - тоже не выяснил.

Answer 1

[Игорь]

переустанавливайте сервер с нуля
если вы не знаете как и откуда попал вирус, смысла искать неисправности в работе апача нет, ваша система уже полностью скомпрометирована

Comments

[Виталий]

Майнер запускается не под root, а под юзером на котором сайт запущен. Вряд ли этот вирус что то серьезное мог сделать в системе.

[Игорь]

Виталий Рура, я не стал бы на это рассчитывать
существуют активные эксплойты для повышения привелегий до рута (вы постоянно ставите патчи безопасности?), какая гарантия что это не было сделано?

[res2001]

И еще нужно искать баг в своем софте, через который вирус проник к вам.
После переустановки вполне вероятно повторение атаки.

[Виталий]

Спасибо за совет. Видимо и правда самым верным решением будет - все переустановить с нуля. Я так понимаю защитить себя в дальнейшем от такого нельзя на 100%? Только своевременное обновление системы сможет хоть как-то обезопасить?

[Игорь]

Своевременное обновление системы это только один из обязательных шагов в деле защиты сервера, есть еще настройка прав и способов доступа, правильное конфигурирование сервисов и т.п.

[Jhn Doe from by]

Есть clamav antivirus для ubuntu , он oss, он должен смотреть на файлы которые загружает пользователь и делать периодический скан на сервере. + Загружаемые файлы пользователем нужно чекать файл хидер, чтобы он был в списке разрешенных к загрузке на сервер. Хотя мне кажется можно и этот момент обойти

Answer 2

[Пума Тайланд]

У вас полностью скомпроментированный сервер, надо все сносить и ставить с нуля

Comments

[Виталий]

А если абстрагироваться от информации про вирус? Есть какие либо еще догадки?

[Пума Тайланд]

Виталий Рура, да злоумышленник может делать все что угодно на вашем сервере, я бы уже что раз подменил бинарники нгинкс и апач на его месте

Answer 3

[Reversaidx]

Посмотри исходящие соединения, возможно они забиваю коннекты к апачу(netstat -anp|grep tcp|grep apache2)
То что в папке /tmp что-то запускалось, вообще не говорит о том что сервер был взломан(могла быть взломана отдельная CMS или скрипт), смысла переставлять сервер - нет.
Лучше обратиться к шарющим людям(особенно в момент проявления проблемы), такие ошибки быстро фиксятся при достаточном опыте.

Comments

[Виталий]

Насчет вируса майнера - нашел откуда он залез. через дыру в старом движке drupal. запустил майнер через команду shell_exec. Сейчас все подобные функции я отключил.

Там много рабочих сайтов было и я устал каждый день по несколько раз перегружать сервер. Поэтому все же принял решение - переустановить все. После переустановки проблема решилась. Т.е. возможно все же какая та проблема в ПО была.