Как перенести работающую ОС Debian 11 на RAID1 с имеющейся LVM разметкой?

Question

[Денис Нубарский]

Добрый день!

Арендовали сервер на удаленной площадке с 4-мя HDD. Из возможных вариантов установки предложили только RAID0, RAID1, RAID10 и LVM.
Решили что следующая схема распределения объема HDD будет наиболее подходящей:
SWAP - RAID1 - 5Gb
/ - RAID1 - 24Gb
/home - RAID5 - все оставшееся место

По инструкциям из "интернернетов" (Хабр) было возможно понять что все реализуемо.

При установке выбрали режим установки LVM.
Получили следующую схему разделов:

~# lsblk /dev/sda
NAME           MAJ:MIN RM   SIZE RO TYPE MOUNTPOINT
sda              8:0    0 931.5G  0 disk
├─sda1           8:1    0     1M  0 part
├─sda2           8:2    0   977M  0 part /boot
└─sda3           8:3    0 930.6G  0 part
  ├─vg0-swap_1 254:0    0   4.8G  0 lvm  [SWAP]
  ├─vg0-root   254:1    0  22.9G  0 lvm  /
  └─vg0-home   254:2    0 902.9G  0 lvm  /home

~# fdisk -l /dev/sda
Disk /dev/sda: 931.51 GiB, 1000204886016 bytes, 1953525168 sectors
Disk model: ST1000DM003-1ER1
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes
Disklabel type: gpt
Disk identifier: 8B063280-E7F8-4E70-964A-C5C44435B799

Device       Start        End    Sectors   Size Type
/dev/sda1     2048       4095       2048     1M BIOS boot
/dev/sda2     4096    2004991    2000896   977M Linux filesystem
/dev/sda3  2004992 1953523711 1951518720 930.6G Linux LVM

Все остальные диски (/dev/sdb /dev/sdc /dev/sdc) не размечены.

При копировании разделов (командой sfdisk -d /dev/sda | sfdisk -f /dev/sdb) получил следующий ответ:

~# sfdisk -d /dev/sda | sfdisk -f /dev/sdb
Checking that no-one is using this disk right now ... OK

Disk /dev/sdb: 931.51 GiB, 1000204886016 bytes, 1953525168 sectors
Disk model: ST1000DM003-1ER1
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes

>>> Script header accepted.
>>> Script header accepted.
>>> Script header accepted.
>>> Script header accepted.
>>> Script header accepted.
>>> Script header accepted.
>>> Script header accepted.
>>> Created a new GPT disklabel (GUID: 8B063280-E7F8-4E70-964A-C5C44435B799).
/dev/sdb1: Created a new partition 1 of type 'BIOS boot' and of size 1 MiB.
/dev/sdb2: Created a new partition 2 of type 'Linux filesystem' and of size 977 MiB.
/dev/sdb3: Created a new partition 3 of type 'Linux LVM' and of size 930.6 GiB.
Partition #3 contains a LVM2_member signature.
/dev/sdb4: Done.

New situation:
Disklabel type: gpt
Disk identifier: 8B063280-E7F8-4E70-964A-C5C44435B799

Device       Start        End    Sectors   Size Type
/dev/sdb1     2048       4095       2048     1M BIOS boot
/dev/sdb2     4096    2004991    2000896   977M Linux filesystem
/dev/sdb3  2004992 1953523711 1951518720 930.6G Linux LVM

The partition table has been altered.
Calling ioctl() to re-read partition table.
Syncing disks.

То же при копировании на /dev/sdc и /dev/sdd. Но все же диски размечены:

~# fdisk -l
Disk /dev/sdd: 931.51 GiB, 1000204886016 bytes, 1953525168 sectors
Disk model: ST1000DM003-1ER1
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes
Disklabel type: gpt
Disk identifier: 8B063280-E7F8-4E70-964A-C5C44435B799

Device       Start        End    Sectors   Size Type
/dev/sdd1     2048       4095       2048     1M BIOS boot
/dev/sdd2     4096    2004991    2000896   977M Linux filesystem
/dev/sdd3  2004992 1953523711 1951518720 930.6G Linux LVM


Disk /dev/sdc: 931.51 GiB, 1000204886016 bytes, 1953525168 sectors
Disk model: ST1000DM003-1ER1
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes
Disklabel type: gpt
Disk identifier: 8B063280-E7F8-4E70-964A-C5C44435B799

Device       Start        End    Sectors   Size Type
/dev/sdc1     2048       4095       2048     1M BIOS boot
/dev/sdc2     4096    2004991    2000896   977M Linux filesystem
/dev/sdc3  2004992 1953523711 1951518720 930.6G Linux LVM


Disk /dev/sda: 931.51 GiB, 1000204886016 bytes, 1953525168 sectors
Disk model: ST1000DM003-1ER1
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes
Disklabel type: gpt
Disk identifier: 8B063280-E7F8-4E70-964A-C5C44435B799

Device       Start        End    Sectors   Size Type
/dev/sda1     2048       4095       2048     1M BIOS boot
/dev/sda2     4096    2004991    2000896   977M Linux filesystem
/dev/sda3  2004992 1953523711 1951518720 930.6G Linux LVM


Disk /dev/sdb: 931.51 GiB, 1000204886016 bytes, 1953525168 sectors
Disk model: ST1000DM003-1ER1
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes
Disklabel type: gpt
Disk identifier: 8B063280-E7F8-4E70-964A-C5C44435B799

Device       Start        End    Sectors   Size Type
/dev/sdb1     2048       4095       2048     1M BIOS boot
/dev/sdb2     4096    2004991    2000896   977M Linux filesystem
/dev/sdb3  2004992 1953523711 1951518720 930.6G Linux LVM


Disk /dev/mapper/vg0-swap_1: 4.77 GiB, 5117050880 bytes, 9994240 sectors
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes


Disk /dev/mapper/vg0-root: 22.89 GiB, 24574427136 bytes, 47996928 sectors
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes


Disk /dev/mapper/vg0-home: 902.9 GiB, 969484009472 bytes, 1893523456 sectors
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes

~# lsblk
NAME           MAJ:MIN RM   SIZE RO TYPE MOUNTPOINT
sda              8:0    0 931.5G  0 disk
├─sda1           8:1    0     1M  0 part
├─sda2           8:2    0   977M  0 part /boot
└─sda3           8:3    0 930.6G  0 part
  ├─vg0-swap_1 254:0    0   4.8G  0 lvm  [SWAP]
  ├─vg0-root   254:1    0  22.9G  0 lvm  /
  └─vg0-home   254:2    0 902.9G  0 lvm  /home
sdb              8:16   0 931.5G  0 disk
├─sdb1           8:17   0     1M  0 part
├─sdb2           8:18   0   977M  0 part
└─sdb3           8:19   0 930.6G  0 part
sdc              8:32   0 931.5G  0 disk
├─sdc1           8:33   0     1M  0 part
├─sdc2           8:34   0   977M  0 part
└─sdc3           8:35   0 930.6G  0 part
sdd              8:48   0 931.5G  0 disk
├─sdd1           8:49   0     1M  0 part
├─sdd2           8:50   0   977M  0 part
└─sdd3           8:51   0 930.6G  0 part

Возникли вопросы:
- Как скопировать разметку LVM /dev/sda3 на /dev/sdb3, /dev/sdc3 и /dev/sdd3? И необходимо ли это делать?

Comments

[Drno]

по вопросу врят ли подскажу... но
нафига LVM поверх рейда? или одно или другое обычно
не проще было всё сделать raid1 прям на / раздел? а свап подключить просто файлом?

по идее достаточно просто скопировать разделы со старого на новый в /vg
и правильно прописать fstab

[Денис Нубарский]

Drno, в связи с тем что имелись ТОЛЬКО предложенные варианты установки ОС, т.е. установки ОС без LVM нет, выбрали установку без RAID. Создавать RAID1 из всех имеющихся 4-х дисков - существенная потеря дискового пространства.

Была бы возможность подключиться к консоли во время установки - установил бы с нуля с необходимой разметкой. К сожалению такую возможность нам не предоставляют.

[Drno]

Deni_Noob, в любом адекватном хостинге можно запросить KVM консоль...

[Денис Нубарский]

Drno, согласен, но платить за 3 часа как-то "жирно", особенно с тем учетом что есть вариант обойтись без KVM-консоли.

[Drno]

Deni_Noob, ну если платите лично Вы - соглашусь, тоже бы искал обходные пути
если платит бизнес - пусть платит, мое время дороже

PS подозреваю что взяли вы селектел))

Answer 1

[Melkij]

Решили что следующая схема распределения объема HDD будет наиболее подходящей:
SWAP - RAID1 - 5Gb
/ - RAID1 - 24Gb
/home - RAID5 - все оставшееся место

не трогаете sda вообще на данном этапе!

Вы забыли /boot упомянуть, предположу что считаем его как гигабайтный раздел без существенных изменений.
Игнорируем разметку sda полностью, делаете таблицы разделов на sd[bcd] как
1MiB bios_grub
1GiB boot
29GiB sys
всё остальное data

mdadm -C /dev/md0 -l 1 -n 4 missing /dev/sdb2 /dev/sdc2 /dev/sdd2
mdadm -C /dev/md1 -l 1 -n 4 missing /dev/sdb3 /dev/sdc3 /dev/sdd3
mdadm -C /dev/md2 -l 5 -n 4 missing /dev/sdb4 /dev/sdc4 /dev/sdd4 # другие опции по вкусу

ждёте resync, обновляете mdadm.conf, отправляете железку в ребут для проверки что массивы корректно собираются сами.

pvinit, vgextend новых md1 и md2 в имеющийся LVM
pvmove root и swap на md1, хомяка на md2

umount /boot , dd if=/dev/sda2 of=/dev/md0, grub-install /dev/sdb , grub-install /dev/sdc , grub-install /dev/sdd, обновить fstab вместо sda2 записать md0

контрольный ребут

vgreduce sda3 из lvm, удаляете таблицу разделов sda и создаёте новую идентичную прочим дискам,
mdadm /dev/md0 -a /dev/sda2
mdadm /dev/md1 -a /dev/sda3
mdadm /dev/md2 -a /dev/sda4

после resync всё готово. Через lvresize расширить размеры томов ну и resize2fs как обычно.

Comments

[Денис Нубарский]

Разметил диски:

~# fdisk -l
Disk /dev/sdc: 931.51 GiB, 1000204886016 bytes, 1953525168 sectors
Disk model: ST1000DM003-1ER1
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes
Disklabel type: gpt
Disk identifier: 3B8B2CE6-B131-9244-81F2-0D70F2B5E665

Device        Start        End    Sectors  Size Type
/dev/sdc1      2048       4095       2048    1M BIOS boot
/dev/sdc2      4096    2101247    2097152    1G Linux filesystem
/dev/sdc3   2101248   66064383   63963136 30.5G Linux filesystem
/dev/sdc4  66064384 1953525134 1887460751  900G Linux filesystem

Disk /dev/sda: 931.51 GiB, 1000204886016 bytes, 1953525168 sectors
Disk model: ST1000DM003-1ER1
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes
Disklabel type: gpt
Disk identifier: 38F007A0-081B-4F3B-A821-74D28B0EBC53

Device       Start        End    Sectors   Size Type
/dev/sda1     2048       4095       2048     1M BIOS boot
/dev/sda2     4096    2004991    2000896   977M Linux filesystem
/dev/sda3  2004992 1953523711 1951518720 930.6G Linux LVM

Disk /dev/sdd: 931.51 GiB, 1000204886016 bytes, 1953525168 sectors
Disk model: ST1000DM003-1ER1
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes
Disklabel type: gpt
Disk identifier: FB17251E-691C-9046-AA73-4C1B28360825

Device        Start        End    Sectors  Size Type
/dev/sdd1      2048       4095       2048    1M BIOS boot
/dev/sdd2      4096    2101247    2097152    1G Linux filesystem
/dev/sdd3   2101248   66064383   63963136 30.5G Linux filesystem
/dev/sdd4  66064384 1953525134 1887460751  900G Linux filesystem

Disk /dev/sdb: 931.51 GiB, 1000204886016 bytes, 1953525168 sectors
Disk model: ST1000DM003-1ER1
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes
Disklabel type: gpt
Disk identifier: C6AB9FAC-9823-A84E-85D6-D3981EC28729

Device        Start        End    Sectors  Size Type
/dev/sdb1      2048       4095       2048    1M BIOS boot
/dev/sdb2      4096    2101247    2097152    1G Linux filesystem
/dev/sdb3   2101248   66064383   63963136 30.5G Linux filesystem
/dev/sdb4  66064384 1953525134 1887460751  900G Linux filesystem

Disk /dev/md127: 1022 MiB, 1071644672 bytes, 2093056 sectors
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes

Disk /dev/md126: 30.48 GiB, 32731299840 bytes, 63928320 sectors
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes

Disk /dev/md125: 2.64 TiB, 2898733301760 bytes, 5661588480 sectors
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 524288 bytes / 1572864 bytes

Disk /dev/mapper/vg0-swap_1: 4.77 GiB, 5117050880 bytes, 9994240 sectors
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes

Disk /dev/mapper/vg0-root: 23.84 GiB, 25597837312 bytes, 49995776 sectors
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes

Disk /dev/mapper/vg0-home: 901.95 GiB, 968460599296 bytes, 1891524608 sectors
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes

После создания разделов получилась такая структура:

:~# lsblk
NAME           MAJ:MIN RM   SIZE RO TYPE  MOUNTPOINT
sda              8:0    0 931.5G  0 disk
├─sda1           8:1    0     1M  0 part
├─sda2           8:2    0   977M  0 part  /boot
└─sda3           8:3    0 930.6G  0 part
  ├─vg0-swap_1 253:0    0   4.8G  0 lvm   [SWAP]
  ├─vg0-root   253:1    0  23.8G  0 lvm   /
  └─vg0-home   253:2    0 901.9G  0 lvm   /home
sdb              8:16   0 931.5G  0 disk
├─sdb1           8:17   0     1M  0 part
├─sdb2           8:18   0     1G  0 part
│ └─md127        9:127  0  1022M  0 raid1
├─sdb3           8:19   0  30.5G  0 part
│ └─md126        9:126  0  30.5G  0 raid1
└─sdb4           8:20   0   900G  0 part
  └─md125        9:125  0   2.6T  0 raid5
sdc              8:32   0 931.5G  0 disk
├─sdc1           8:33   0     1M  0 part
├─sdc2           8:34   0     1G  0 part
│ └─md127        9:127  0  1022M  0 raid1
├─sdc3           8:35   0  30.5G  0 part
│ └─md126        9:126  0  30.5G  0 raid1
└─sdc4           8:36   0   900G  0 part
  └─md125        9:125  0   2.6T  0 raid5
sdd              8:48   0 931.5G  0 disk
├─sdd1           8:49   0     1M  0 part
├─sdd2           8:50   0     1G  0 part
│ └─md127        9:127  0  1022M  0 raid1
├─sdd3           8:51   0  30.5G  0 part
│ └─md126        9:126  0  30.5G  0 raid1
└─sdd4           8:52   0   900G  0 part
  └─md125        9:125  0   2.6T  0 raid5

Пытаюсь переместить SWAP и ROOT после swapoff -a:

pvmove -b /dev/vg0/swap_1 /dev/md126
  Cannot use /dev/vg0/swap_1: device is not in a usable state
  Run `pvmove --help' for more information.

~# pvmove -b /dev/vg0/root /dev/md126
  Cannot use /dev/vg0/root: device is not in a usable state
  Run `pvmove --help' for more information.

Предполагаю что делаю что-то не так.

[Melkij]

pvs покажите

[Денис Нубарский]

Melkij,

:~# pvs
  PV         VG  Fmt  Attr PSize   PFree
  /dev/md125     lvm2 ---   <2.64t <2.64t
  /dev/md126     lvm2 ---   30.48g 30.48g
  /dev/sda3  vg0 lvm2 a--  930.55g     0

[Melkij]

vgextend пропустили

[Денис Нубарский]

Melkij, сделал vgextend vg0 /dev/md125 /dev/md126

~# pvs
  PV         VG  Fmt  Attr PSize   PFree
  /dev/md125 vg0 lvm2 a--   <2.64t <2.64t
  /dev/md126 vg0 lvm2 a--   30.48g 30.48g
  /dev/sda3  vg0 lvm2 a--  930.55g     0

Результат тот же

:~# pvmove /dev/vg0/swap_1 /dev/md126
  Cannot use /dev/vg0/swap_1: device is not in a usable state
  Run `pvmove --help' for more information.

~# pvmove /dev/vg0/root /dev/md126
  Cannot use /dev/vg0/root: device is not in a usable state
  Run `pvmove --help' for more information.

[Melkij]

хм, а почему аргументы такие?

Move extents belonging to a single LV.
pvmove -n lvol1 /dev/sdb1 /dev/sdc1

По man'у так, pvmove -n root /dev/sda3 /dev/md126

[Денис Нубарский]

Melkij, боюсь что придется переустанавливать. На пункте установки grub выходит следующее

for disk in sd{b,c,d}; do grub-install --recheck /dev/$disk; done
Installing for i386-pc platform.
grub-install: warning: Couldn't find physical volume `(null)'. Some modules may be missing from core image..
grub-install: warning: Couldn't find physical volume `(null)'. Some modules may be missing from core image..
Installation finished. No error reported.
Installing for i386-pc platform.
grub-install: warning: Couldn't find physical volume `(null)'. Some modules may be missing from core image..
grub-install: warning: Couldn't find physical volume `(null)'. Some modules may be missing from core image..
Installation finished. No error reported.
Installing for i386-pc platform.
grub-install: warning: Couldn't find physical volume `(null)'. Some modules may be missing from core image..
grub-install: warning: Couldn't find physical volume `(null)'. Some modules may be missing from core image..
Installation finished. No error reported.

[Melkij]

такие варнинги спровоцированы деградировавшим состоянием рейда, ведь одного диска в массивах не хватает. Баг, да, довольно стар, но не критичен.

[Денис Нубарский]

Melkij, Спасибо за помощь в решении данной задачи.

[Денис Нубарский]

Ньюанс. При формировании mdadm -C /dev/md0 -l 1 -n 4 missing /dev/sdb2 /dev/sdc2 /dev/sdd2 (/boot) необходимо добавить параметр --metadata=0.9 иначе не загружается.

[Melkij]

странно, у меня
Version : 1.2
Creation Time : Wed Jun 3 21:11:02 2015
спокойно грузится с grub2, не помню какой версии там debian устанавливался даже.

Но в общем да, неслучайно mdadm при создании массива памятку выводит про метаданные.

Answer 2

[Олег Волков]

Я делаю Redundant LVM ТАК.