Почему может не собираться iSCSI+LVM2 на Proxmox?

Question

[Softer]

Доброго времени суток, коллеги.

Дано:

• 3 ноды Proxmox (5.2-10). Бездисковые (ОС грузиться с NFS), диски виртуалок - LVM2 over iSCSI
  
• Самодельный сторадж: Ubuntu Server 18.04, stgt. На нем 4 HDD и 1 SSD: 2хRAID1, на одном из рейдов - bcache с SSD. Сервер презентует 2 iSCSI (по числу рейдов).
  

Действия ДО:

• Пропал один HDD (из рейда что без bcache). Система живет, но рейд на одном крыле.
  
• "Под шумок" обновил все ноды, сменилась минорка PM (если правильно запомнил - со 2-й на 10-ю). Все работает, один рейд по прежнему на одном крыле (перезагрузки были, все поднималось как всегда).
  
• Погасил виртуалки
  
• Выключил сторадж, сменил шлейф питания винта (окись), включил, рейд собрался и восстановился.
  
• Проверил iSCSI локально на сторадже - все ОК:

  # iscsiadm -m discovery -t st -p 127.0.0.1 -t st
  127.0.0.1:3260,1 iqn.2018-06.pz:fast
  127.0.0.1:3260,1 iqn.2018-06.pz:slow

  
  
• Пробую запустить виртуалки - не взлетают, аргументируют отсутствием винта. Не подключается тот LVM (over iSCSI) что указывает на рейд с bcache (напомню: отпадал винт на другом рейде)
  

Далее были попытки понять что не так:

На ноде PM (127.0.0.1 - адрес стораджа):

# iscsiadm -m node -R
Rescanning session [sid: 1, target: iqn.2018-06.pz:fast, portal: 127.0.0.1,3260]
Rescanning session [sid: 2, target: iqn.2018-06.pz:slow, portal: 127.0.0.1,3260]

# vgs
  VG      #PV #LV #SN Attr   VSize   VFree  
  vg_slow   1   0   0 wz--n- 803,75g 803,75g

# vgscan 
  Reading all physical volumes.  This may take a while...
  Found volume group "vg_slow" using metadata type lvm2

## Вырезал все лишние NFS и SMB хранилки, с ними все ОК
# pvesm status
Name           Type     Status           Total            Used       Available        %
Fast            lvm   inactive               0               0               0    0.00%
Slow            lvm     active       842792960               0       842792960    0.00%
iFast         iscsi     active               0               0               0    0.00%
iSlow         iscsi     active               0               0               0    0.00%

На сторадже:

# vgs
  VG      #PV #LV #SN Attr   VSize   VFree  
  vg_fast   1  22   0 wz--n-  <1,82t  <1,17t
  vg_slow   1   0   0 wz--n- 803,75g 803,75g
## Выхлоп ниже сокращен, суть - диски виртуалок видит.
# lvs
  LV              VG      Attr       LSize   Pool Origin Data%  Meta%  Move Log Cpy%Sync Convert
  vm-101-disk-1   vg_fast -wi-a-----   5,00g                                                    
  vm-101-disk-2   vg_fast -wi-a-----  30,00g                                                    
  vm-1200-disk-1  vg_fast -wi-a-----  30,00g                                                    
  vm-1200-disk-2  vg_fast -wi-a-----   5,00g

Куда можно копнуть? Может кто сталкивался с подобным?

Answer 1

[Softer]

Сам себе и отвечу:

Оказалось что пропал LUN на таргете:

# tgt-admin -s
.Target 1: iqn.2018-06.pz:fast
    System information:
        Driver: iscsi
        State: ready
    I_T nexus information:
        I_T nexus: 1
            Initiator: iqn.1993-08.org.debian:01:6b28041b594 alias: n0
            Connection: 0
                IP Address: 127.0.0.1
    LUN information:
        LUN: 0
            Type: controller
            SCSI ID: IET     00010000
            SCSI SN: beaf10
            Size: 0 MB, Block size: 1
            Online: Yes
            Removable media: No
            Prevent removal: No
            Readonly: No
            SWP: No
            Thin-provisioning: No
            Backing store type: null
            Backing store path: None
            Backing store flags: 
    Account information:
    ACL information:
        ALL
Target 2: iqn.2018-06.pz:slow
    System information:
        Driver: iscsi
        State: ready
    I_T nexus information:
        I_T nexus: 2
            Initiator: iqn.1993-08.org.debian:01:6b28041b594 alias: n0
            Connection: 0
                IP Address: 127.0.0.1
    LUN information:
        LUN: 0
            Type: controller
            SCSI ID: IET     00020000
            SCSI SN: beaf20
            Size: 0 MB, Block size: 1
            Online: Yes
            Removable media: No
            Prevent removal: No
            Readonly: No
            SWP: No
            Thin-provisioning: No
            Backing store type: null
            Backing store path: None
            Backing store flags: 
        LUN: 1
            Type: disk
            SCSI ID: IET     00020001
            SCSI SN: beaf21
            Size: 863023 MB, Block size: 512
            Online: Yes
            Removable media: No
            Prevent removal: No
            Readonly: No
            SWP: No
            Thin-provisioning: No
            Backing store type: rdwr
            Backing store path: /dev/md0p4
            Backing store flags: 
    Account information:
    ACL information:
        ALL

Добавил LUN - ноды увидели LVM и подключили его.

# tgtadm --lld iscsi --op new --mode logicalunit --tid 1 --lun 1 -b /dev/bcache0

Answer 2

[Пума Тайланд]

Посмотрите фдиском партиции на быстром айскази

Comments

[Softer]

Если со стороны ноды (я так понимаю ISCSI должен быть виден как /dev/sd*) я вижу только /dev/sda, это медленный.

Если со стороны стораджа:

# fdisk -l /dev/bcache0
Диск /dev/bcache0: 1,8 TiB, 2000263634944 байт, 3906764912 секторов
Единицы: секторов по 1 * 512 = 512 байт
Размер сектора (логический/физический): 512 байт / 512 байт
Размер I/O (минимальный/оптимальный): 512 байт / 512 байт