Как найти причину падения сервера?

Question

[tgarl]

Добрый день.
Возможно кто-то может подсказать что делать с такой проблемой не только отсылая к гуглу.
Проблема в следующем: неделю назад началось все с того что память вся резко заканчивалась и виновником вроде как был mysql, хостер сказал увеличивайте память сервера, тут народ сказал ищите запросы тяжелые. В общем найти не получилось, мучались мучались, но вдруг память перестала кушаться, но стал забиваться канал. Тоже тему поднимал - якобы нагрузка идет от БД, но в итоге спустя пару дней все нормализовалось. Тут пару суток новая напасть опять сайты не работают на сервере. Память не забивается полностью примерное использование 8 из 16. atop показывает что каналы свободны, нагрузка на CPU от mysqld 600-900%. запускаю сохранить в файл что за запросы сейчас в очереди, а там всего их 5 с таймингом 0 и половина из них sleep. т.е. фигня какая-та - запросов нет, но сайт лежит и нагрузка mysqld якобы ого-го какая.
Запускаю htop и вижу что значение tasks в районе 400
перезапустил полностью сервер, никакой реакции, все тоже самое, никакого просвета не видно
решил пойти по другому и начал останавливать службы, стопорю первым делом mysqld, вижу что нагрузка вроде как упала, но tasks остались, открываю в браузере сайт ожидая увидеть ошибку подключения к БД, а вместо этого сайт висит, через минуту выдал 504, обновляю страницу 502, а ошибок о подключении к БД нет. Стопорю всякие memcached, httpd и nginx , обновляю страницу в браузере и получаю опять 502 или 504 вместо проверьте подключение.
при этом tasks в районе 100 и CPU почти на нулях

итого со вчерашнего дня (с 16) до 23:55 с периодическими проблесками на минут 10 только работал. Затем с 0:30 и до 5:00 опять отвалился и только с 5 утра начал работать сайт

Написал хостеру о том что вижу, на что получил администрирование вашего сервере лежит на вас хотите чтобы мы разбирались что у вас за проблемы 3000/час

Помогите пожалуйста советами что делать, что пробовать

Comments

[Владимир Юрченков]

А что говорит лог?

[tgarl]

какой именно?
если httpd, то ничего такого в нем не увидел, запросы разных страниц сайта и все
проскакивают конечно левые запросы из серии "GET /ecp/Current/exporttool/microsoft.exchange.ediscovery.exporttool.application HTTP/1.0" 404 24563 "-" "Mozilla/5.0 zgrab/0.x"
но их единицы
В логах mysqld вот такие записи есть, но опять же с перерывами

2022-03-11T00:54:36.513328Z 138648 [Note] Access denied for user 'wordpress'@'localhost' (using password: YES)
2022-03-11T00:54:36.931456Z 138650 [Note] Access denied for user 'dev'@'localhost' (using password: YES)
2022-03-11T00:54:37.460394Z 138651 [Note] Access denied for user 'root'@'localhost' (using password: YES)
2022-03-11T00:54:37.911398Z 138652 [Note] Access denied for user 'root'@'localhost' (using password: YES)
2022-03-11T00:54:38.251439Z 138654 [Note] Access denied for user 'web'@'localhost' (using password: YES)

судя по всему кто-то пробовал подобрать наугад пароль к БД только не понятно на какой странице это

[Александр]

что подразумеваете под сервером, под управлением какой ос (какой дистрибутив), сервер, что значит перезупустил сервер и еще некоторые вопросы. потому что сразу не описали проблему как надо

[tgarl]

Александр, под сервером я подразумеваю именно сервер, у нас Выделенный сервер RD-30065
перезапуск сервера - это зайти в панель управления хостингом , выделенный сервер и перезагрузить
остановить mysqld - через консоль выполняю команду service mysqld stop, так же и другие службы в том числе апач и нжинкс

По поводу OC: CentOS release 6.8 (Final)

[Александр]

tgarl, возможно, взлом сервера или сайта (вы не писали, что у вас там). проверьте доступ по ssh и сайт на признаки взлома

[tgarl]

проверьте доступ по ssh

Уже несколько раз сменили, как проверить на признаки взлома? антивирус ничего постороннего не нашел

[tgarl]

вы не писали, что у вас там

Несколько сайтов на битриксе
Вся беда началась в конце февраля, до этого проблем не было, ничего глобального не делалось, все глобальное планируется на конец весны

[Александр]

tgarl, что у вас за сайт на сервере? возможно, sql инъекция, возможно, какие-то папки открыты для просмотра. способов много проникнуть на сервак.
если боитесь здесь размещать какую-то информацию (а вашей явно недостаточно для конкретных советов), то найдите специалиста, который проведет анализ
я не такой уж большой спец по безопасности

[Alexey Dmitriev]

Вариантов множество - от DDOS и до кривого тюнинга MySQL и наличия slow queries.
Самый правильный вариант это обратиться к специалистам.

[tgarl]

нашел в логах одно из сайтов вот такие строки, время примерно совпадает с тем как сервер начал тормозить

что это и может ли это быть причиной всего?

45.86.202.136 - - [11/Mar/2022:10:43:44 +0000] "\x00\x16\x03\x01\x01\x10\x01\x00\x01\x0C\x03\x03\xE8\x96-k\xD1|}\x9Cs3\x95\x94\x95\xECLf\x0C!#]\x14o\xE1@G\x1B\xA0\x86\x0Cf\x9B\xAC \xEBno\x87\xA3zA\xE3\x80\x0C\xF8\xB9\xCD\x8F]\xE4\xDD\x00b\xFD-P\xD6\x97=\xEF\xE9^\x06\xE7\x94g\x00&\xC0/\xC00\xC0+\xC0,\xCC\xA8\xCC\xA9\xC0\x13\xC0\x09\xC0\x14\xC0" 400 173 "-" "-"
45.86.202.136 - - [11/Mar/2022:10:43:44 +0000] "\x00\x16\x03\x01\x01\xD0\x01\x00\x01\xCC\x03\x03\x96 nu\x86\x85\xF9`\x0F\x00\xF7L&WP\xDD\x85x\x93\xA6y\x1A\xD9C\xCE\x22x\x108\xBB8i \xC3R\xD1\xF6\xC2m\x08\xD3B\x84_\x8C$\xEAkN\x15\x06\xB0r2)\xAEd\x95Y3\x9D'*~\x01\x00&\xC0/\xC00\xC0+\xC0,\xCC\xA8\xCC\xA9\xC0\x13\xC0\x09\xC0\x14\xC0" 400 173 "-" "-"
45.86.202.136 - - [11/Mar/2022:10:43:44 +0000] "\x00\x16\x03\x01\x01\x10\x01\x00\x01\x0C\x03\x03\x80\xA2\x0C\xD5\xDD\xE3\xBCY\xAA|\x13\xBB\x09\xDE\xBD\xC4\xB4\xCF\x99~\x90\xA0\xF7\x15\xD1\xE6\xF7\x12\xC8\x89\x90\xD7 \xFDE\xB4\xCDp^)\x8EY\xC0\xAC\xB8)\xE9\xA1Lk\x82*\xD1cU\xCFE\x1E\x9A\x5C\x09C\xC3\xEC\xBA\x00&\xC0/\xC00\xC0+\xC0,\xCC\xA8\xCC\xA9\xC0\x13\xC0\x09\xC0\x14\xC0" 400 173 "-" "-"
45.86.202.136 - - [11/Mar/2022:10:43:44 +0000] "\x00\x16\x03\x01\x01\x10\x01\x00\x01\x0C\x03\x03\xE5&\x1B&\xC48\x89\xF1>-\x22$j\xAC\x03\x92b*l\xC0Fdv\xBD\x06\xADN\xEE:t\x11\x1E \xF0\xDA\xB2c7\xF0~<\xB7\x17\x0F\x9E\x01pW\x19\x0E\xD9\xA8\xF6\xDA" 400 173 "-" "-"
45.86.202.136 - - [11/Mar/2022:10:43:44 +0000] "\x00\x16\x03\x01\x01\x10\x01\x00\x01\x0C\x03\x03" 400 173 "-" "-"
45.86.202.136 - - [11/Mar/2022:10:43:44 +0000] "\x00\x16\x03\x01\x01\xD0\x01\x00\x01\xCC\x03\x03\xB5|`\x15\xB6\x95\xB1\xD5B&\xE2\x8A}\x82.\x88\x05\xDF\xB3\x90t\xFF'_\xF7`C\xBD\xC1\x89\xF5\xAB R\x8E\x22\xCB\x17\x1FMb:\xCC\xF2\x97\x83\xFF\x8392\x1B\xE8\xFB\x17\xB2\xCF\xDFY^(\xF0\xB6\xC6\x09\xCF\x00&\xC0/\xC00\xC0+\xC0,\xCC\xA8\xCC\xA9\xC0\x13\xC0\x09\xC0\x14\xC0" 400 173 "-" "-"
45.86.202.136 - - [11/Mar/2022:10:43:44 +0000] "\x00\x16\x03\x01\x01\x10\x01\x00\x01\x0C\x03\x03\x0F~\x13\x83\x84\x05o\xD4(\xFE\x84\x94w\xB9Y\xFC5\xA4\xC6\xD3iv \x97\x18z\xCC\xF82\xFE\x12m \xC3k\x09\x1CO\xEE\xB8\x9A@_\xE6\xA2#\xF81\xA7\xA8;H\xD2\x98\x07\x9C\xBBZ\xEA\x02=\xE5d\xA3\xFD\x00&\xC0/\xC00\xC0+\xC0,\xCC\xA8\xCC\xA9\xC0\x13\xC0\x09\xC0\x14\xC0" 400 173 "-" "-"
45.86.202.136 - - [11/Mar/2022:10:43:44 +0000] "\x00\x16\x03\x01\x01\xD0\x01\x00\x01\xCC\x03\x03&\xCB\xDB|*_\x8D\x01\xCB\xC7\xA4`R\x0E\x88\x82o\x1E\x18\xA0\xE9\xB6(\x88Xw\xB1\xD1\x8FGu, .\x85+'n\x8DhD\x04\x01\x93\xBD\x1A\xAB\xF5y6W|\x97\xBD\x14'\xC7\x19\xDF\xB5Kp\xBF1q\x00&\xC0/\xC00\xC0+\xC0,\xCC\xA8\xCC\xA9\xC0\x13\xC0\x09\xC0\x14\xC0" 400 173 "-" "-"
45.86.202.136 - - [11/Mar/2022:10:43:44 +0000] "\x00\x16\x03\x01\x01\xD0\x01\x00\x01\xCC\x03\x03\xF6,\xA1\xFA<8\xBA\xE5\xA6,\x1F|\xD1L\x89s^\xB4\x94t\xCAn\x82\xE2CZ\xB

Answer 1

[hx510b]

можно ограничить количество соединений к MySQL, если дело в памяти при нагрузке.
а так надо смотреть и логи, и параметры и т.д. непонятно, что происходит.

Answer 2

[Алексей Черемисин]

1) Запретите доступ к mysql извне!
2) Ограничте доступ к серверу путем настройки количества коннектов от одного IP
3) Установите firewall и запретите коннекты ко всем портам, кроме ssh и http/https
4) Поставьте логи в mysql на длинные запросы
5) Проанализируйте логи приложения, так как запросы к mysql похоже у вас идут изнутри приложения
6) Что вообще за приложение у вас там стоит? Не взомано ли оно?

Comments

[tgarl]

1. внешнего доступа и так нет
2. у нас в компании 1 ip общий, в том числе и у всяких 1C и прочих
3. стоит на сервере
4. есть отдельный лог, но в него начинают падать все как только идет зависание
5. с этим непонятно как и что делать, логи-то получить не проблема, но у нас битрикс, а у него запросы ...
6. антивирус ничего не нашел

[Алексей Черемисин]

Битрикс, сочувствую! Ищите специалиста, его вам взломали. Да, будет дорого и больно. Ицену, которую вам объяаили, она божеская.
Через логи апаша (или что у вас там, nginx? ) смотрите, на какую страницу приходятся запросы, на которых все ломается.
Далее, ищите странные файлы со странными названиями и расширением php.
Подвисшие процессы смотрите через strace.
В битриксе почистите все кеши, переведите все файлы в read-only. А лучше все вылить на отдельный том и монтировать его в read-only.
Я пару раз на битриксе подобную гадость искал, в среднем дня три...

[tgarl]

Но по идее в этом случае reboot должен же хоть на 5 минут разгрузить, а тут вообще никак не помогает

[Алексей Черемисин]

tgarl, а с чего вы взяли, что не помогает? Вы заблокировали всех кроме себя фаерволом? Крон отключили? Опустили полностью апач или нгинкс?

Answer 3

[Adamos]

Бэкап сайтов есть? Мне в начале февраля ломанули сайт на старом Битриксе, только сравнением с чистым бэкапом удалось найти и вычистить раскиданных по всему сайту зловредов. Правда, особенных проблем они не создавали, взлом был обнаружен почти случайно.

Comments

[tgarl]

есть прошлогодние, попробую сравнить