RAID-1, почему не видно все разделы?

Question

[mazer1325]

Добрый день
Debian 9
В системе 2 винта, собраны в программный raid 1.
cat /proc/mdstat
Personalities : [raid1] [linear] [multipath] [raid0] [raid6] [raid5] [raid4] [raid10]
md1 : active raid1 sdb2[1]
48795648 blocks super 1.2 [2/1] [_U]
md3 : active raid1 sdb4[1]
919490560 blocks super 1.2 [2/1] [_U]
bitmap: 3/7 pages [12KB], 65536KB chunk
md0 : active raid1 sdb1[1]
498368 blocks super 1.2 [2/1] [_U]
md2 : active raid1 sda3[0] sdb3[1]
7808000 blocks super 1.2 [2/2] [UU]

Почему не видит sda1, sda2 и sda4?
Если отключать по одному то все нормально, все разделы видны.
Вот ещё вывод
fdisk -l
Disk /dev/sda: 931,5 GiB, 1000204886016 bytes, 1953525168 sectors
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disklabel type: dos
Disk identifier: 0x796d0f4d

Device Boot Start End Sectors Size Id Type
/dev/sda1 * 2048 999423 997376 487M fd Linux raid autodetect
/dev/sda2 999424 98656255 97656832 46,6G fd Linux raid autodetect
/dev/sda3 98656256 114280447 15624192 7,5G fd Linux raid autodetect
/dev/sda4 114280448 1953523711 1839243264 877G fd Linux raid autodetect

Disk /dev/sdb: 931,5 GiB, 1000204886016 bytes, 1953525168 sectors
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disklabel type: dos
Disk identifier: 0x9d919dcc

Device Boot Start End Sectors Size Id Type
/dev/sdb1 * 2048 999423 997376 487M fd Linux raid autodetect
/dev/sdb2 999424 98656255 97656832 46,6G fd Linux raid autodetect
/dev/sdb3 98656256 114280447 15624192 7,5G fd Linux raid autodetect
/dev/sdb4 114280448 1953523711 1839243264 877G fd Linux raid autodetect

Disk /dev/md2: 7,5 GiB, 7995392000 bytes, 15616000 sectors
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes

Disk /dev/md0: 486,7 MiB, 510328832 bytes, 996736 sectors
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes

Disk /dev/md3: 876,9 GiB, 941558333440 bytes, 1838981120 sectors
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes

Disk /dev/md1: 46,5 GiB, 49966743552 bytes, 97591296 sectors
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes

Почему так происходит?
С чего все началось::
Диски в рэйде начали сыпаться, решил заменить их по очереди, проверил что система грузится с каждого диска по отдельности(отключал и подключал их на выключенный пк), начал процедуру замены вот , например, по этой инструкции (каких много в инете) https://www.sysadmin.in.ua/2013/05/09/zamena-zhest... , но на стадии удаления разделов повреждённого диска тормознулся:
mdadm /dev/md0 -r /dev/sda1
mdadm: hot remove failed for /dev/sda1: No such device or address
Как быть, подскажите люди добрые.
Спасибо

Answer 1

[Melkij]

В /proc/mdstat только дисковые массивы, активные сейчас. И, опять же, только тома входящие в этот массив. Если вы делали странное (а вы делали странное) - то ядро вполне резонно решило, что желает пообщаться с оператором.

Вам необходимо взять тот диск, версию которого вы хотите оставить (поскольку вы с них загружались независимо друг от друга - у вас теперь два разных массива. md2, как видно, не модифицировался и пережил издевательства) и добавить необходимые разделы в массив. -r (remove) вполне ожидаемо отвечает что не может удалить том, которого в массиве нет.

Comments

[mazer1325]

Я так понимаю, конкретно в моём случае, надо сделать:
# mdadm /dev/md0 -a /dev/sda1
# mdadm /dev/md1 -a /dev/sda2
# mdadm /dev/md3 -a /dev/sda4
Правильно?

[mazer1325]

Вот вывод lsblk
NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINT
sda 8:0 0 931,5G 0 disk
├─sda1 8:1 0 487M 0 part
├─sda2 8:2 0 46,6G 0 part
├─sda3 8:3 0 7,5G 0 part
│ └─md2 9:2 0 7,5G 0 raid1 [SWAP]
└─sda4 8:4 0 877G 0 part
sdb 8:16 0 931,5G 0 disk
├─sdb1 8:17 0 487M 0 part
│ └─md0 9:0 0 486,7M 0 raid1 /boot
├─sdb2 8:18 0 46,6G 0 part
│ └─md1 9:1 0 46,5G 0 raid1 /
├─sdb3 8:19 0 7,5G 0 part
│ └─md2 9:2 0 7,5G 0 raid1 [SWAP]
└─sdb4 8:20 0 877G 0 part
└─md3 9:3 0 876,9G 0 raid1 /mnt/vm_iso

[Melkij]

# mdadm /dev/md0 -a /dev/sda1
# mdadm /dev/md1 -a /dev/sda2
# mdadm /dev/md3 -a /dev/sda4
Правильно?

да.
Затем по /proc/mdstat проследить за ребилдом.

[mazer1325]

получилось, собрал обратно
Спасибо

[mazer1325]

Теперь другая проблема) цель была заменить sdb, тк он посыпался
Сделал :
mdadm /dev/md0 -f /dev/sdb1
mdadm /dev/md1 -f /dev/sdb2
mdadm /dev/md2 -f /dev/sdb3
mdadm /dev/md3 -f /dev/sdb4

Затем:
# mdadm /dev/md0 -r /dev/sdb1
# mdadm /dev/md1 -r /dev/sdb2
# mdadm /dev/md2 -r /dev/sdb3
# mdadm /dev/md3 -r /dev/sdb4

poweroff

Заменил HDD
Включил ПК
Делаю:
#sfdisk -d /dev/sda | sfdisk --force /dev/sdb
Checking that no-one is using this disk right now ... OK

Disk /dev/sdb: 931,5 GiB, 1000204886016 bytes, 1953525168 sectors
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes
Disklabel type: dos
Disk identifier: 0x3cd9108a

Old situation:

>>> Script header accepted.
>>> Script header accepted.
>>> Script header accepted.
>>> Script header accepted.
>>> Created a new DOS disklabel with disk identifier 0x796d0f4d.
/dev/sdb1: Created a new partition 1 of type 'Linux raid autodetect' and of size 487 MiB.
Partition #1 contains a linux_raid_member signature.
/dev/sdb2: Created a new partition 2 of type 'Linux raid autodetect' and of size 46,6 GiB.
/dev/sdb3: Created a new partition 3 of type 'Linux raid autodetect' and of size 7,5 GiB.
/dev/sdb4: Created a new partition 4 of type 'Linux raid autodetect' and of size 877 GiB.
All partitions used.

New situation:

Device Boot Start End Sectors Size Id Type
/dev/sdb1 * 2048 999423 997376 487M fd Linux raid autodetect
/dev/sdb2 999424 98656255 97656832 46,6G fd Linux raid autodetect
/dev/sdb3 98656256 114280447 15624192 7,5G fd Linux raid autodetect
/dev/sdb4 114280448 1953523711 1839243264 877G fd Linux raid autodetect

The partition table has been altered.
Calling ioctl() to re-read partition table.
Syncing disks.
lsblk
NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINT
sda 8:0 0 931,5G 0 disk
├─sda1 8:1 0 487M 0 part
│ └─md0 9:0 0 486,7M 0 raid1 /boot
├─sda2 8:2 0 46,6G 0 part
│ └─md1 9:1 0 46,5G 0 raid1 /
├─sda3 8:3 0 7,5G 0 part
│ └─md2 9:2 0 7,5G 0 raid1 [SWAP]
└─sda4 8:4 0 877G 0 part
└─md3 9:3 0 876,9G 0 raid1 /mnt/vm_iso
sdb 8:16 0 931,5G 0 disk
├─sdb1 8:17 0 487M 0 part
├─sdb2 8:18 0 46,6G 0 part
├─sdb3 8:19 0 7,5G 0 part
└─sdb4 8:20 0 877G 0 part

И теперь самое интересное
mdadm /dev/md0 -a /dev/sdb1
mdadm: Cannot open /dev/sdb1: Device or resource busy

cat /proc/mdstat
Personalities : [raid1] [linear] [multipath] [raid0] [raid6] [raid5] [raid4] [raid10]
md127 : inactive sdb1[0](S)
487152 blocks super 1.2

md0 : active raid1 sda1[2]
498368 blocks super 1.2 [2/1] [U_]

md1 : active raid1 sda2[2]
48795648 blocks super 1.2 [2/1] [U_]

md3 : active raid1 sda4[0]
919490560 blocks super 1.2 [2/1] [U_]
bitmap: 2/7 pages [8KB], 65536KB chunk

md2 : active raid1 sda3[0]
7808000 blocks super 1.2 [2/1] [U_]
Почему появился какойто md127?

[Melkij]

Partition #1 contains a linux_raid_member signature.

На диске уже была метка какого-то другого массива и его попробовали автоматически собрать под номером 127. С 127 номера идут автоматически собранные массивы.

Если вы уверены, что на диске определившемся как sdb нет ничего полезного (впрочем, уже поздно об этом думать переписав таблицу разделов) - то разберите массив mdadm -S /dev/md127

[mazer1325]

mdadm -S /dev/md127
mdadm: stopped /dev/md127
root@servirt:~# cat /proc/mdstat
Personalities : [raid1] [linear] [multipath] [raid0] [raid6] [raid5] [raid4] [raid10]
md0 : active raid1 sda1[2]
498368 blocks super 1.2 [2/1] [U_]

md1 : active raid1 sdb2[3] sda2[2]
48795648 blocks super 1.2 [2/2] [UU]

md3 : active raid1 sdb4[2] sda4[0]
919490560 blocks super 1.2 [2/1] [U_]
[=======>.............] recovery = 36.6% (337169728/919490560) finish=86.8min speed=111780K/sec
bitmap: 1/7 pages [4KB], 65536KB chunk

md2 : active raid1 sdb3[2] sda3[0]
7808000 blocks super 1.2 [2/1] [U_]
resync=DELAYED
Разобрал, собрал, получилось!!!
Спасибо огромное!