ProxMox,как добавить существующий диск сохранив содержимое?

Question

[RagePlusPlus]

Имеется сервер:
Мат.плата:HUANANZHI X10X99-16D
Проц: Intel(R) Xeon(R) CPU E5-2697A v4 @ 2.60GHz x2
RAM: 528236976 kB
Релиз,ядро: Linux pve 6.8.4-2-pve #1 SMP PREEMPT_DYNAMIC PMX 6.8.4-2
RAID: LSI MegaRAID SAS 9260-8i

spoiler

spoiler

Ну, и диски...

NAME               MAJ:MIN RM   SIZE RO TYPE MOUNTPOINTS DEVICE-ID(S)
sda                  8:0    0   3.6T  0 disk                 /dev/disk/by-id/scsi-3600605b00a06f2702e3119b02fd3445f /dev/disk/by-id/wwn-0x600605b00a06f2702e3119b02fd3445f
sdb                  8:16   0   3.6T  0 disk                /dev/disk/by-id/scsi-3600605b00a06f2702e32607b0cd02bd9 /dev/disk/by-id/wwn-0x600605b00a06f2702e32607b0cd02bd9
nvme0n1            259:0    0 238.5G  0 disk       /dev/disk/by-id/nvme-nvme.126f-4141303030303030303030303030303035363431-417061636572204153323238305034203235364742-00000001 /dev/disk/by-id/nvme-Apacer_AS2280P4_256GB_AA000000000000005641_1 /dev/disk/by-id/nvme-Apacer_AS2280P4_256GB_AA000000000000005641

lsblk:

NAME               MAJ:MIN RM   SIZE RO TYPE MOUNTPOINTS
sda                  8:0    0   3.6T  0 disk 
└─sda1               8:1    0   3.6T  0 part 
sdb                  8:16   0   3.6T  0 disk 
└─sdb1               8:17   0   3.6T  0 part 
nvme0n1            259:0    0 238.5G  0 disk 
├─nvme0n1p1        259:1    0  1007K  0 part 
├─nvme0n1p2        259:2    0     1G  0 part /boot/efi
└─nvme0n1p3        259:3    0 237.5G  0 part

Их нужно добавить как-то в проксмокс, они были в нем, но диск на котором был сам прокс - омертвел...
Остался только RAID из этих sda и sdb дисков, по 3.с копейками ТБ, на которых виртуалки, и т.п.

Нашел вот это, но т.к. не совсем понимаю что делаю - лучше узнаю, как это сделать правильнее сохранив все, виртулаки, данные, и т.п.

Comments

[Drno]

рейд то пересобрали в системе? что показывает cat /proc/mdadm ?

[RagePlusPlus]

Drno, рейд через контроллер
LSI MegaRAID SAS 9260-8i

spoiler

spoiler

А на команду отвечает что такого нет.

[RagePlusPlus]

И не нужно ли добавить в proxmox PCI устройство RAID-а?

spoiler

Answer 1

[Петровский]

Подмонтируйте диски, добавьте Storage, восстанавливайте конфиги машин в /etc/PvE

> lsblk
И что это за три диска? И что мешает их смонтировать?

Comments

[RagePlusPlus]

> lsblk
И что это за три диска? И что мешает их смонтировать?

nvme0n1 - nvme на котором стоит proxmox
sda,sdb - raid

[RagePlusPlus]

добавьте Storage

Не получается(

spoiler

[Петровский]

Сначала смонтировать, потом добавлять в Storage папку, куда смонтировали.

А сейчас вы добавляете блочное устройство, хотя просят Directory.

[RagePlusPlus]

Петровский, это я гений)

Добавил устройство.
Теперь, насколько понимаю, нужно добавить этот диск к виртуальной машине?

spoiler

</spoiler>

[Петровский]

Ага. Хотя было 2 рейда у вас

[RagePlusPlus]

Петровский, ну я и второй тоже добавил, там те же самые действия)

[RagePlusPlus]

Петровский,
Теперь когда дошел до создания машин, не совсем понимаю как он определит какой из файлов вм он будет использовать на этой машине.

spoiler

[Петровский]

Конфиги с соответствиями лежали в /etc/pve.

[RagePlusPlus]

Петровский,
Как понимаю, они лежали на старом диске, который мертв.
Сейчас там:

root@pve:/etc/pve/qemu-server# ls -l
total 0

Т.е. нужно создать ВМ без диска, что-б появились эти конфиги, и туда написать путь к диску виртуальной машины?

[Петровский]

Recovery
If you have major problems with your Proxmox VE host, for example hardware issues, it could be helpful to copy the pmxcfs database file /var/lib/pve-cluster/config.db, and move it to a new Proxmox VE host. On the new host (with nothing running), you need to stop the pve-cluster service and replace the config.db file (required permissions 0600). Following this, adapt /etc/hostname and /etc/hosts according to the lost Proxmox VE host, then reboot and check (and don’t forget your VM/CT data).

[RagePlusPlus]

Петровский, ну, я оттуда уже ничего не скопирую)

Т.е. нужно создать ВМ без диска, что-б появились эти конфиги, и туда написать путь к диску виртуальной машины?

Не подойдет?

[Петровский]

Угу, руками. Смотрите команду qm importdisk

Соответственно не путайте ваш storage и место, откуда просто забираете диски

Answer 2

[Дмитрий]

Если конфиги виртуальных машин утеряны, но сами файлы или LVM-тома виртуальных дисков целы, то добавляете к новому Proxmox хранилища, где хранятся виртуальные диски, и создаете виртуалки без дисковых устройств с теми же номерами, что были до сбоя. Потом выполняете в консоли Proxmox команду "qm rescan" - она добавляет в конфиг виртуальных машин неиспользуемые диски с номерами, соотвествующими номерам виртуалок. Далее аттачите найденные виртуальные диски к виртуалкам. Все остальные параметры виртуалок - CPU, память, типы контроллеров SCSI, сетевые настройки - конечно придется восстанавливать руками.

Comments

[RagePlusPlus]

Все остальные параметры виртуалок - CPU, память, типы контроллеров SCSI, сетевые настройки - конечно придется восстанавливать руками.

Главное не посеять данные на них, их не так уж и много)
Сейчас попробую...

[RagePlusPlus]

Винде поменял BIOS на EFI.

Винда ушла в "innacebile boot device"...

[Дмитрий]

RagePlusPlus, проверьте, чтобы тип SCSI-контроллера и номер виртуального диска совпадали с тем, что было до сбоя.

[RagePlusPlus]

Дмитрий, Линуксы все стартанули на вот такой конфигурации.

spoiler

Две винды - все так же в "innacebile boot device"

[RagePlusPlus]

Оно живое.

spoiler

Ну, и в заключение:
goblinvk

[Дмитрий]

RagePlusPlus, для загрузки Windows как правило нужно, чтобы параметры загрузочного диска были как при её установке - тип загрузки CSM/UEFI, тип дискового контроллера и номер диска. Если подобрать комбинацию, при которой Windows загружается, не получается, то тут придется руководствоваться общими советами по исправлению проблем с загрузкой, или можно попробовать загрузиться с какого-нибудь iso-образа со средством решения таких проблем.

"innacebile boot device" - чаще всего это значит, что Windows на этапе загрузки не находит нужный драйвер для дискового накопителя, или сам диск поменял логическое расположение. Попробуйте переподключить его как SATA или даже IDE.

[RagePlusPlus]

Дмитрий, да, там был выбран не тот тип контроллера, методом перебора выбрал нужный и дело пошло.

Остался один вопрос - диски примонтированы, их как-то вроде можно закрепить?
Сейчас к примеру перезапущен будет сервер, и монтирования сбросит.

[Дмитрий]

Имеется ввиду примонтированные RAID-массивы на самом Proxmox? Если это файловая система, то нужно добавить точку монтирования в /etc/fstab, чтобы она автоматически подключалась при загрузке. Для LVM вроде вообще ничего не нужно, все должно определяться и подключаться при загрузке само.

[RagePlusPlus]

Дмитрий, добавил запись, перезапустил - все ок.

Последнее что осталось - добить диски RAID-а.

Там было "два диска" C и D, один SSD, второй HDD.

Сейчас только SSD распознает винда, и пишет вот такое.

spoiler

[RagePlusPlus]

Сейчас только SSD распознает винда, и пишет вот такое.

Рестарт исправил)

[Дмитрий]

RagePlusPlus, не совсем уверен, но возможно Диск 2 (1Мб) - это не диск для Windows, а служебный образ Proxmox типа TPM State или EFI Disk, который хранит настройки соответствующих эмулируемых устройств, и его нужно не отдавать виртуалке как диск, а подключать напрямую через редактирование конфига. И если он будет подключен правильно, то Windows сможет прочитать зашифрованные разделы, если они были созданы. Но тут у меня практического опыта нет, лучше спросите отдельным вопросом, кто-нибудь подскажет более предметно.