Неестественно долгий старт сервера Linux, что может быть?

Question

[mihass]

Выделенный сервер у Hetzner, Debian, Software RAID1. Проект высоконагруженый, 80% времени под ДДОС. Uptime был 1.5 года.
Умер один диск, после замены и подключения в RAID сервер не поднялся. Бились бились, в итоге оказалось, что сервер стартует, все ок, но время до полной загрузки занимает 30-50 минут. Судя по всему не поднимается именно сеть, потому как сервер даже не пингуется, но при этом все остальное похоже запускается.
В логах ничего подозрительного найти не можем, кроме одного:

TCP: request_sock_TCP: Possible SYN flooding on port 443. Sending cookies.  Check SNMP counters.

Идей никаких нет.
P.S. Как именно был перегружен сервер значения не имеет, что через консоль, что через панель принудительно, все равно очень долгий старт.

Answer 1

[Drno]

Ждать старта.
стопать веб ервер \ либо закрыть iptsbles временно
посмотреть чегой с рейдом...

Comments

[mihass]

С рейдом все ок. Он собрался, синхронизировался, оба диска рабочие. Вобщем все ок, мы этот вариант исключили.

[AUser0]

mihass, IPMI к нему есть? В удалённом управлении видно всё, чем там BIOS занимается, и т.д.

Answer 2

[asmelnik]

В логах отображается в том числе временные метки старта того или иного сервиса.
Они о чем говорят?
Если сервер "железячный" (да и виртуальный тоже) - подключайтесь к "локальному монитору" и смотрите.
Как вариант -- рейд -контроллер при каждом старте проводит полную пересинхронизацию зеркала (бывало такое), или был случай, когда рейд-контроллер искал и инициализировал HDD по 8-10 минут...

Comments

[mihass]

вот про пересбор рейда это интересно, но разве он стартует автоматически? нам новый диск когда поставили, мы запускали синхорнизацию вручную, при загрузке сервера она не стратовала. И даже если синхронизация стартует сама, сервер ждет полной синхронизации? Он не должен загрузиться с синхронизацией в фоне?

[#]

mihass, забей.. посмотрел твой камент выше..

[asmelnik]

mihass,
Если контроллер железячный - пока он не скажет свое "Ок" системе -- БИОС будет ждать.
А вот на каких условиях он что биос-у отвечает это уже вопрос интересный, контроллеро и конфигоконтроллерно зависимый.
Я правда с небольшим количеством контроллеров сталкивался, но мне и этого хватило для такого вывода :)

Answer 3

[#]

ну так, в довесок.. обычно лаги создают сетевые запросы без ответа (тут веер от вирусы которому срубили голову, до ваших лучших идей, но с ошибками)..
.. и запросы к неспешно сыпящемуся hdd...
.. могут быть и другие причины, но в прошлые много лет, эти были самые частые

Comments

[mihass]

запросы внешние? мы последнюю неделю под умеренным ддосом, но я не думаю, что это может быть причиной.
hdd нет, 2 диска, оба ssd, один вообще новый а второй судя по смарту вполне ничего еще.

[#]

mihass, ддос та еще причина задуматься.. возможна взаимосвязь

Answer 4

[Дмитрий Лупонос]

У hetzner с серверами есть такая проблема: деградируют
Можно убить кучу времени на поиск проблемы либо клонировать сервер на новое железо (существенно быстрее)
Проблема медленного старта явно с рейдом, а когда рейд деградировал, то скорость падает до 150мб/с
Если есть специалист: kvm консоль и излечение рейда