Сбой LVM на debian 9. Root каталог на LVM, система недоступна для записи, fsck помогает на несколько часов, потом рецидив. Как быть?

Question

[Антон Пащенко]

Предыстория.
Пришел "замечательный" "специалист" для чистки и профилактики сервера из компании у которой мы получаем услуги сисадминства на аутсорте.
Сервер под ESXi 6.5. Бухгалтер и директор - девушки, выключив VM с 1С отрапортовали, что сервер выключен. Данный "специалист" вырубает из сети работающий сервер под гипервизором, разбирает, со съёмом винтов, отключая их от RAID контроллера и всё это дело чистит. Собирает - естественно ничего не работает, кроме того, что было не на RAID дисках.
После чего на машине с debian 9 появляется следующее сообщение:

Ставлю диск на проверку в ручную, исправляю все ошибки, debain запускается работает нормально 4-6 часов, и потом опять всё повторяется. В системе пропадает доступность диска для записи, после перезагрузки то что на скриншоте. При перезагрузки после fsck остаются только сообщения:

Помогает изменение use_lvmetad с 1 на 0 в /etc/lvm/lvm.conf, но машина и сайты на ней начинают тормозить люто(((

Как можно поправить по человечески?

Comments

[Sand]

покажите вывод:

cat /proc/mdstat
lvscan
pvscan
vgscan

[Антон Пащенко]

Sand,
root@spacemall:~# lvscan
ACTIVE '/dev/spacemall-vg/root' [228,02 GiB] inherit
ACTIVE '/dev/spacemall-vg/swap_1' [31,74 GiB] inherit
root@spacemall:~# pvscan
PV /dev/sda5 VG spacemall-vg lvm2 [259,76 GiB / 0 free]
Total: 1 [259,76 GiB] / in use: 1 [259,76 GiB] / in no VG: 0 [0 ]
root@spacemall:~# vgscan
Reading all physical volumes. This may take a while...
Found volume group "spacemall-vg" using metadata type lvm2
root@spacemall:~#

[Sand]

Антон Пащенко, а первая?
cat /proc/mdstat

[Антон Пащенко]

Sand,
root@spacemall:~# cat /proc/mdstat
cat: /proc/mdstat: Нет такого файла или каталога
У меня нет программного рейда

[Sand]

Антон Пащенко, ещё покажите плз:

fdisk -l
blkid

[Антон Пащенко]

Sand,
root@spacemall:~# fdisk -l
Disk /dev/sda: 260 GiB, 279172874240 bytes, 545259520 sectors
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disklabel type: dos
Disk identifier: 0x61a9782a

Device Boot Start End Sectors Size Id Type
/dev/sda1 * 2048 499711 497664 243M 83 Linux
/dev/sda2 501758 545259000 544757243 259,8G 5 Extended
/dev/sda5 501760 545259000 544757241 259,8G 8e Linux LVM

Disk /dev/sdb: 200 GiB, 214748364800 bytes, 419430400 sectors
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes

Disk /dev/mapper/spacemall--vg-root: 228 GiB, 244834107392 bytes, 478191616 sectors
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes

Disk /dev/mapper/spacemall--vg-swap_1: 31,8 GiB, 34078720000 bytes, 66560000 sectors
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
root@spacemall:~# blkid
/dev/sda1: UUID="2c22da6f-6c27-4b81-b239-797a115f1e36" TYPE="ext2" PARTUUID="61a9782a-01"
/dev/sda5: UUID="R7JiFf-bO0R-YxzX-MPCR-Meoc-U34d-ZJN90e" TYPE="LVM2_member" PARTUUID="61a9782a-05"
/dev/mapper/spacemall--vg-root: UUID="1dcc4b42-62f2-48cb-bc38-e6ed87ce2b88" TYPE="ext4"
/dev/sdb: UUID="57cf9c0f-8602-4f36-8979-bd319c64a54d" TYPE="ext4"
/dev/mapper/spacemall--vg-swap_1: UUID="b333b290-9e0b-4a24-87a3-e1bbc7450c16" TYPE="swap"
root@spacemall:~#

[Sand]

Антон Пащенко, покажите плз ещё вывод тех же команд на esxi

[Антон Пащенко]

lv и md пропускаю, ни того ни другого на ESXi нету

[root@45:~] fdisk -l

***
*** The fdisk command is deprecated: fdisk does not handle GPT partitions. Please use partedUtil
***

Found valid GPT with protective MBR; using GPT

Disk /dev/disks/naa.600605b005ac3a60252cb1970511d797: 935544832 sectors, 2153M
Logical sector size: 512
Disk identifier (GUID): f8965823-ea34-429e-b76b-f2e4c288b8c7
Partition table holds up to 128 entries
First usable sector is 34, last usable sector is 935544798

Number Start (sector) End (sector) Size Name
1 2048 935542784 446G
Found valid GPT with protective MBR; using GPT

Disk /dev/disks/naa.600605b005ac3a60252cb1970511d3f4: 1951170560 sectors, 2448M
Logical sector size: 512
Disk identifier (GUID): 85904bb1-b2d1-47c9-970d-0b1de05f4575
Partition table holds up to 128 entries
First usable sector is 34, last usable sector is 1951170526

Number Start (sector) End (sector) Size Name
1 2048 1951168512 930G
Found valid GPT with protective MBR; using GPT

Disk /dev/disks/naa.600605b005ac3a6028bfdf813e02ce36: 1998045184 sectors, 760M
Logical sector size: 512
Disk identifier (GUID): 9ab0b031-02f9-4896-8d91-b5e4ad32e36e
Partition table holds up to 128 entries
First usable sector is 34, last usable sector is 1998045150

Number Start (sector) End (sector) Size Name
1 2048 1998043136 952G
Found valid GPT with protective MBR; using GPT

Disk /dev/disks/t10.NVMe____Samsung_SSD_970_EVO_Plus_500GB__________C233B29154382500: 976773168 sectors, 1804M
Logical sector size: 512
Disk identifier (GUID): ae8bc65f-193d-4873-9497-5831a2cecc88
Partition table holds up to 128 entries
First usable sector is 34, last usable sector is 976773134

Number Start (sector) End (sector) Size Name
1 2048 713172992 340G
Found valid GPT with protective MBR; using GPT

Disk /dev/disks/t10.ATA_____ST2000VX0082D2E3164__________________________________Z529VV33: 3907029168 sectors, 3089M
Logical sector size: 512
Disk identifier (GUID): ff39deae-b18e-42e1-9a15-992c27e481a4
Partition table holds up to 128 entries
First usable sector is 34, last usable sector is 3907029134

Number Start (sector) End (sector) Size Name
1 64 8191 4064K
2 7086080 15472639 4095M
3 15472640 3907029134 1855G
5 8224 520191 249M
6 520224 1032191 249M
7 1032224 1257471 109M
8 1257504 1843199 285M
9 1843200 7086079 2560M
Found valid GPT with protective MBR; using GPT

Disk /dev/disks/naa.600605b005ac3a602892a3d527ff444f: 3904294912 sectors, 1754M
Logical sector size: 512
Disk identifier (GUID): 6bca8e4e-81cf-412b-a916-8f6102ca3b71
Partition table holds up to 128 entries
First usable sector is 34, last usable sector is 3904294878

Number Start (sector) End (sector) Size Name
1 2048 3904292864 1861G
[root@45:~] blkid
-sh: blkid: not found

Answer 1

[Антон Пащенко]

Выцепил проблему.
ESXi стоит на SSD винте Intel S3710 200Gb, и вот он почему-то - просто теряет способность к записи через некоторое время(((
В системе ESXi пишет 0B Объём, 0В Занято 0В свободно.
Тестирую его под виндой кристалмарком, всё ок!
ESXi только вчера переустанавливал, освежал релиз, при этом делал полное форматирование.
Может ещё из-за БП, по 5В линии есть просадка до 4,83-4,85В
В общем загадка.

Comments

[Zettabyte]

SSD винте Intel S3710 200Gb, и вот он почему-то - просто теряет способность к записи ... делал полное форматирование

Если у вас есть копия всех важных данных с него, то можете также посмотреть и потестировать ССД Р.тестером, он как раз создавался для проверки дисков: https://rlab.ru/tools/rtester.html

[Антон Пащенко]

Спс, так и сделаю.