Сервер не загружается. Как найти проблему?

Question

[grabbee]

Жил себе сервер. Решил обновить и перезагрузить. Обновление не получилось. А после перезагрузки перестал отвечать. Запустил режим "спасения". Диск целый, сервер рабочий. Проблема судя по всему с софтом. Сам по себе сервер самый обычный Ubuntu 18.04(или 16) mysql+nginx+php-fpm остальное стандартные программы.

boot.log

[^[[0;32m OK ^[[0m] Started AppArmor initialization.
[^[[0;32m OK ^[[0m] Reached target System Initialization.
[^[[0;32m OK ^[[0m] Listening on UUID daemon activation socket.
[^[[0;32m OK ^[[0m] Started Discard unused blocks once a week.
[^[[0;32m OK ^[[0m] Listening on D-Bus System Message Bus Socket.
[^[[0;32m OK ^[[0m] Reached target Sockets.
[^[[0;32m OK ^[[0m] Reached target Basic System.
Starting OpenBSD Secure Shell server...
[^[[0;32m OK ^[[0m] Started BIND Domain Name Server.
[^[[0;32m OK ^[[0m] Reached target Host and Network Name Lookups.
Starting Login Service...
Starting LSB: Record successful boot for GRUB...
[^[[0;32m OK ^[[0m] Started Daily apt download activities.
[^[[0;32m OK ^[[0m] Started Daily apt upgrade and clean activities.
Starting OpenNTPd Network Time Protocol...
Starting Accounts Service...
Starting Permit User Sessions...
[^[[0;32m OK ^[[0m] Started Regular background program processing daemon.
[^[[0;32m OK ^[[0m] Started Daily Cleanup of Temporary Directories.
[^[[0;32m OK ^[[0m] Started Message of the Day.
[^[[0;32m OK ^[[0m] Reached target Timers.
Starting Dispatcher daemon for systemd-networkd...
[^[[0;32m OK ^[[0m] Started irqbalance daemon.
[^[[0;32m OK ^[[0m] Started Set the CPU Frequency Scaling governor.
[^[[0;32m OK ^[[0m] Started D-Bus System Message Bus.
[^[[0;32m OK ^[[0m] Started Login Service.
Starting System Logging Service...
[^[[0;32m OK ^[[0m] Started Permit User Sessions.
[^[[0;32m OK ^[[0m] Started OpenBSD Secure Shell server.
Starting Terminate Plymouth Boot Screen...
Starting Hold until boot process finishes up...
[^[[0;32m OK ^[[0m] Started AppArmor initialization.
[^[[0;32m OK ^[[0m] Reached target System Initialization.
[^[[0;32m OK ^[[0m] Listening on D-Bus System Message Bus Socket.
[^[[0;32m OK ^[[0m] Started Daily Cleanup of Temporary Directories.
[^[[0;32m OK ^[[0m] Started Message of the Day.
[^[[0;32m OK ^[[0m] Started Discard unused blocks once a week.
[^[[0;32m OK ^[[0m] Started Clean PHP session files every 30 mins.
[^[[0;32m OK ^[[0m] Listening on UUID daemon activation socket.
[^[[0;32m OK ^[[0m] Reached target Sockets.
[^[[0;32m OK ^[[0m] Reached target Basic System.
Starting Accounts Service...
Starting Fail2Ban Service...
Starting OpenBSD Secure Shell server...
[^[[0;32m OK ^[[0m] Started irqbalance daemon.
Starting Permit User Sessions...
Starting Dispatcher daemon for systemd-networkd...
Starting System Logging Service...
Starting LSB: Record successful boot for GRUB...
[^[[0;32m OK ^[[0m] Started Set the CPU Frequency Scaling governor.
[^[[0;32m OK ^[[0m] Started Regular background program processing daemon.
Starting OpenNTPd Network Time Protocol...
Starting The PHP 7.2 FastCGI Process Manager...
[^[[0;32m OK ^[[0m] Started D-Bus System Message Bus.
Starting Login Service...
[^[[0;32m OK ^[[0m] Started Daily apt download activities.
[^[[0;32m OK ^[[0m] Started Daily apt upgrade and clean activities.
[^[[0;32m OK ^[[0m] Reached target Timers.
[^[[0;32m OK ^[[0m] Started BIND Domain Name Server.
[^[[0;32m OK ^[[0m] Reached target Host and Network Name Lookups.
[^[[0;32m OK ^[[0m] Started System Logging Service.
[^[[0;32m OK ^[[0m] Started Fail2Ban Service.
[^[[0;32m OK ^[[0m] Started Permit User Sessions.
[^[[0;32m OK ^[[0m] Started Wait for Network to be Configured.
[^[[0;32m OK ^[[0m] Started Login Service.
[^[[0;32m OK ^[[0m] Reached target Network is Online.
Starting Munin Node...
Starting nginx - high performance web server...
Starting Terminate Plymouth Boot Screen...
Starting Hold until boot process finishes up...

Какие ещё логи посмотреть? KVM нету.

Comments

[hint000]

Из этого лога проблем не видно.
Смотрите /var/log/syslog

KVM нету

Если правильно понял, то физического доступа к серверу у вас нет, и что выводится на консоли во время загрузки вы не можете посмотреть?

[grabbee]

hint000, kvm нет. Есть rescue mode. Последняя строка о том, что он чего-то ждет. Только вот и не понятно что именно. syslog нет записей после перезагрузки

Answer 1

[ky0]

Жил себе сервер без KVM. Обновил Иванушка-админ целую пачку пакетов, в том числе, видимо, ядро-чистый изумруд - мышка прибежала, хвостиком махнула, и сервер уронила.

Вот и сказочке конец, а мораль: сервер без удалённого доступа - рано или поздно к дальней дороге.

Comments

[grabbee]

Вы внимательно прочитали? Обновление не получилось. Вывалилось ошибкой что не может получить доступ к файлу и всё. Какие ядра...

[grabbee]

Доступ есть. Его можно загрузить в аварийном режиме, достать все данные и переустановить. Вопрос про другое.

[fdroid]

Да там, думаю, от сервера только гордое название самосбора из спичек из желудей, которые любят особо "умные" админ, бьющие себя пяткой в грудь - "Да я сам сервер соберу! Из десктопных комплектующих, а работать будет не хуже брендовых!"

[grabbee]

fdroid, что ты несешь? Бренд мирового уровня.

[fdroid]

grabbee, это на каком сервере брэнда мирового уровня нет KVM? Модель в студию.

[grabbee]

fdroid, Scaleway - не слышал? Местечковый провайдер из франции?...

[fdroid]

grabbee, а так это днище-VPS, ну тут вы сам себе злобный Буратино, что без KVM арендовали недо-сервер.

[grabbee]

fdroid, ты совсем дурак? Я тебе про сервер говорю. Или для тебя виртуалка и выделенный сервер одно и тоже?

[fdroid]

grabbee, ты пишешь не приходя в сознание что ли? У тебя VPS или VDS? Если VPS, то причём здесь вообще "диск целый"? Если VDS, то какой же это "сервер брэнда мирового уровня" если в нём нет KVM?

[grabbee]

Start-2-S-SATA - у меня судя по всему Dell DSS5100 так как нет KVM

[grabbee]

fdroid, и при чем здесь бренд до линейки серверов?

[grabbee]

Зайди в кабинет к сисадминам и крикни - Dell собирает сервера из спичек из желудей!...

[fdroid]

grabbee, "Dell DSS5100" - это что вообще? Гуглится Dell DSS 1500. В любом случае, если в этом сервере нет KVM - это не сервер, а жалкое подобие. Сэкономил на сервере с KVM? - теперь можешь съездить во Францию для решения проблемы.

[grabbee]

fdroid, ну тебе реально таблетки принимать надо. Серверное решение для создания и доставки микросерверов. Могу ещё раз повторить - оба бренда мирового уровня. Ситуация связана с СОФТОМ, понимаешь? Мой вопрос про решение проблемы с СОФТОМ. Сервер 100% рабочий. Тебе же написано, на него можно зайти в аварийном режиме и достать все данные. Зачем ехать во Францию? Я спросил, как найти проблему, какие логи смотреть. Я хочу проблему с софтом решить.

[fdroid]

grabbee, ну так зайди и достань все данные, в чём проблема тогда? И к чему тогда ты упомянул, что "KVM нет"? KVM нужен как раз для решения проблем с загрузкой если сервер вообще лёг.

Вообще, не пиши мне больше, у тебя нет понимания элементарных вещей, а ещё хамишь.

[grabbee]

Так потому что его нету! KVM в этом сервере нет! Есть возможность загрузить в аварийном режиме. Расскажи мне про эти элементарные вещи и разницу...

[grabbee]

Когда мне нужно будет достать данные, то я так и спрошу "Как достать данные" - зайти на сервер в аварийном режиме, примонтировать диск и скопировать всё что нужно и куда угодно.

[grabbee]

hint000, ну формально все только шутили. Один про Windows, второй про "самосбор из желудей". Тут не понятно кому и что отвечать. Товаришь вот разошелся, что у меня изначально сервер говно а я нищеброд и недоадминистратор. Может быть я чего и не понимаю, но физического доступа чаще нет, чем он есть если речь о крупных провайдерах. KVM это максимально физический доступ из имеющегося. И его нет. О чем сразу написал. И написал несколько раз по треду. KVM в данном случае максимальный доступ к серверу на уровне физического. (Даже находясь во франции рядом с ДЦ меня туда не пустят и никого не пустят.) Из того что я знаю, мне дают в таком случае полный доступ и можно увидеть, что там на экране (KVM over IP). Аварийный режим, это их услуга, вероятно это их маркетинговое название, я хз. Формально это загрузка с LiveCD выбранного дистрибутива(автоматически). Можно примонтировать диски и если они живы и забрать все данные. В данном конкретном случае в поддержке сказали, что сервер 100% рабочий, и проблема с софтом.

Загрузка с LiveCD - это не тоже самое что KVM over IP, и вообще не про физический доступ.

[grabbee]

Обновил Иванушка-админ целую пачку пакетов
от сервера только гордое название самосбора из спичек из желудей
особо "умные" админ, бьющие себя пяткой в грудь
Хм, а я слышал, что только Windows после обновлений глючит.

Адекватно тут пока только один человек отвечает hint000

Answer 2

[hint000]

Простое гугление наводит на мысль, что с вероятностью 90% у вас не осталось места на диске (почистите).
С вероятностью 5% проблема связана с пакетом plymouth (который нафиг не нужен и его можно удалить, сам сталкивался с глюками этого пакета).

Comments

[grabbee]

Что можно удалить в разделе - /boot ? Он вынесен отдельно и да. Там 96% занято было, а потом всё... В остальных разделах места более чем.

[grabbee]

1. Загрузиться с LiveCD, например, PuppyLinux.
2. Примонтировать boot-диск, например, sba2.
3. Удалить несколько ядер, которые не используются.
4. Загрузиться в обычном режиме и sudo apt-get autoremove

Как освободить место в /boot разделе? - всё верно?

[hint000]

grabbee, значит не угадал я.
Занято 96% в /boot - это не связано с проблемой загрузки. Туда при обычной работе сервера ничего не пишется, хотя вот обновление могло не пройти из-за недостатка там места.

Все разделы нормально монтируются с доступом на чтение-запись?
mount | grep \(ro,

[grabbee]

hint000, там один диск и два раздела. Оба монтируются. Читаются, пишутся.
/boot
/

[grabbee]

проблема связана с пакетом plymouth

Папочку из /etc удалить? Где он там спрятан)

[grabbee]

You don't need to remove plymouth in order to disable it. Just remove splash from the GRUB_CMDLINE_LINUX_DEFAULT line in your /etc/default/grub file, then run sudo update-grub

Только у меня LiveCD - update-grub я кажется не могу

[grabbee]

https://askubuntu.com/questions/766973/how-to-unin...
https://askubuntu.com/questions/145241/how-do-i-ru...

Сделал. Проверяю.

[hint000]

grabbee,

Только у меня LiveCD - update-grub я кажется не могу

Можно так:
https://www.google.com/search?q=chroot+grub+update

(не обновил страничку, вижу уже удалось найти этот способ)

[grabbee]

hint000, не помогло. Хотя... Я удалил 'splash' - при монтировании всех разделов в /etc/default/grub нету splash - но при загрузке в логе снова есть plymouth. Я кажется не до конца что-то сделал. Хотя update-grub завершился успешно.

Написал в поддержку. Вроде бы они могут "скриншот" экрана приветствия сделать. Но станут ли не знаю. Подожду, они там во Франции особо медлительные...

[grabbee]

Говорят - вы купили самый дешевый сервер, без KVM - е****ь с ним сами. Буду доставать данные, видать быстрее будет. Всё равно ему реинсталл делать...

[hint000]

grabbee, ну тогда уж сразу Ubuntu 20.04 есть смысл ставить.

[grabbee]

hint000, Я пока побоялся. Там версии MySQL разные. Восстанавливаю пока на 18.04 - если получится, перекину на 20.04. И я обнаружил, что я Оло-ло... Там на boot 96 занято было. А про / у меня были кривые данные. На графике статистики было 9% занято. А на самом деле там было все 100% - диск был забит логами приложения под завязку.

Получается он наверное загружается как обычно, но ни одно приложение запуститься не может. Или я хз. Сейчас удалил эти логи. Данные пока сливаю, это ещё несколько часов. Потом попробую его ещё раз загрузить. Я хз, может и стартанет...

[grabbee]

hint000,

наводит на мысль, что с вероятностью 90% у вас не осталось места на диске

Вот нет бы мне проверить сразу... Я не знаю как так вышло, но я видел 9% занято. Там вроде терабайтный диск, а приложение занимало 60-80 гигабайт.

Может я опять чего где косячу, хз. Может и не в этом проблема...

[grabbee]

hint000, ссорян. Сам запутался. И всех путаю. Перекидываю сейчас данные на сервер который меньше в разы. Логи не удалил и оно просто на новый не влезло. Бывает...