Ubuntu Server- Read-only filesystem?

Question

[Андрей]

Всем привет, может кто подскажет путь в верном направлении
есть физический сервер на Ubuntu 20.04.3 LTS Server на нём у разрабов крутится jenkins
возникает одна и та же проблема, файловая система падает в Read-Only, после перезагрузки ос не грузится(ниже фото-извиняюсь за качество)

spoiler

после fsck /dev/mapper/....... и исправления кучи ошибок, убунта поднимается, я пробовал переустанавливать ос и менял ssd, но проблема не уходит.
в логах(syslog) я не нахожу(или не вижу) как обнаружить проблему, есть там перерыв по логам почти в 6 часов, но ошибок не вижу
заранее спасибо за любые советы

Comments

[Adamos]

файловая система падает в Read-Only

Прямо посреди работы? Или все-таки при перезагрузке, потому что в ФС проблемы из-за некорректной перезагрузки?
Если первое, то можно попробовать смонтировать для логов отдельный tmpfs и при наступлении ситуации заглянуть туда - на диск-то уже ничего не запишется, а в память - без проблем.

[pfg21]

что говорят логи операционки ??

[Андрей]

pfg21,
https://disk.yandex.ru/d/9a1OA9RaxPcc8Q

[Андрей]

Adamos, я верно понял вставить флешку и настроить писать логи на неё?

[Adamos]

MoscowStyle, зачем - флешку? Tmpfs - это виртуальная ФС в памяти.

Answer 1

[hint000]

Чтобы сильно уменьшить вероятность подобных событий, выношу из корня разделы /var и /tmp.
В результате на корневую файловую систему почти ничего не пишется, за исключением вручную запускаемых обновлений или установки нового софта, изменения настроек (а всё это делается не каждый день).

Answer 2

[Виктор Таран]

Покажите ваш фстаб ?
/etc/fstab
А потом почитайте что такое
errors = remount -ro
Собственно все что вам нужно заменить errors = remount -ro на defaults и перезагрузитья
ну и проверить диск на логические и физические ошибки.
Вернуть все на место, или так и оставить

Comments

[Андрей]

%
# /etc/fstab: static file system information.
#
# Use 'blkid' to print the universally unique identifier for a
# device; this may be used with UUID= as a more robust way to name devices
# that works even if disks are added and removed. See fstab(5).
#
# <file system> <mount point>   <type>  <options>       <dump>  <pass>
/dev/mapper/vgftpbd--p2-root /               ext4    errors=remount-ro 0       1
# /boot/efi was on /dev/sda1 during installation
UUID=5E34-26AD  /boot/efi       vfat    umask=0077      0       1
/dev/mapper/vgftpbd--p2-swap_1 none            swap    sw              0       0

а почему возникает эта ошибка?

[Виктор Таран]

MoscowStyle, Ошибка может быть и логической и физической.
Если о на 1 раз возникла то диск сразу переходит ro

Answer 3

[Drno]

диск, внезапное неоднократное отключение сервака от питания, кабель сата...

Comments

[Андрей]

диск уже второй и проблема та же, с питанием всё нормально, кабель сата не проверял

[Drno]

MoscowStyle, ну вы же понимаете что повреждается файловая система.
Там же врятли прогеры чет спецом ломают
Попробуйте кабель сменить, порт, диск еще раз

[Виктор Таран]

Был у меня сервак на котором диски горели как спички, сгорело 5 винтов за пол года, а потом 8 лет ни 1. Тут как повезет.
А 1 раз бывало что проблема была в биосе одного из дисков при полностью рабочем смарте и прохождение всех тестов
(3 недели поисков и 2 из них убеждение hetzner что такое физически возможно)
Один диск начинал гонять хламный поток данных между интерфейсом и биосом, забивая 100% I-o внутри диска. тем самым просаживая общий I-o диска на 99.9%
При том это периодически, не имея четких циклов, но прогон большого количества данных на запись восстанавливало работоспособность диска опять на какое-о время о 30 секунд до нескольких дней.

В итоге на шине 0 данных,
i-o диска соответственно 0
ошибок 0
а скорость чтения 300кб секунду на nvme диске
В общем проверяйте железо от дисков и проводов доконтроллеров и не крашнутая ли память ( на одном сервере некорректное завершение записи было связано с памятью).
Может сломаться че угодно
А могла быть просто логическая ошибка при отключение питания.
Тут как повезет, но точно не нужно удивляться такое вообще нормально.

[Андрей]

Виктор Таран, спасибо, попробую поменять сервер на другой.

[Виктор Таран]

MoscowStyle, поменять 1 строчку и пройти проверку диска на логику это не проще ?

[Андрей]

Виктор Таран, если Вы про fstab, то там я поправил, ssd новый как и тот который стоял до него- тоже оказался без проблем после проверки, однако проблему это не решило, через какое-то время он свалится в Read-Only filesystem(ничего не даст на себя сохранять) его пустят на перезагрузку и он вывалится в busybox initramfs там надо будет fsck /dev/mapper/.......... он поправит файловую систему и можно будет загрузиться, это было уже всё раз 5, проблему(если она софтовая) найти не можем, поэтому попробую просто поменять сервер на аналогичный.