Можно ли восстановить zpool ZFS массив (raidz1) из 4х дисков после физического изменения порядка дисков?

Question

[ChikiHh]

На домашнем сервере proxmox создас ZFS массив RAID-5 (raidz1) из четырех дисков на котором лежала виртуалка, по дурости не сделав бэкап вытащил все диски, дабы сменить их на железки большего объема, поставил обратно, но порядок физического подключения к сата портам мат. платы соответсвенно уже не угадать. Proxmox пишет что папка пустая, можно ли как-то восстановить информацию на ZFS массиве?

Comments

[Армянское Радио]

Подробно напишите, что сделали. Оно должно было само собраться.

[ChikiHh]

Армянское Радио, по статье вот этой делал https://gregory-gost.ru/domashnij-server-chast-2-u...

Вот что выдает в консоли proxmox'a


Боюсь чтолибо делать чтобы окончательно не убить всю инфу...(

[Армянское Радио]

Ну, один диск в отвале, разбирайтесь с ним

[ChikiHh]

Армянское Радио, потыкал в разные разъемы, вроде пул собрался,

но информации в /rpoolz по прежнему нет, пустые папки, хотя вроде пишет что 402G ALLOC, значит все-таки где-то файлы лежат, не знаете случайно можно ли как-то восстановить?

[Армянское Радио]

zpool status

[ChikiHh]

Армянское Радио,

pool: rpoolz
 state: ONLINE
  scan: resilvered 24K in 0 days 00:00:01 with 0 errors on Sat Apr  4 16:57:31 2020
config:

        NAME                                            STATE     READ WRITE CKSUM
        rpoolz                                          ONLINE       0     0     0
          raidz1-0                                      ONLINE       0     0     0
            ata-Hitachi_HTS545050A7E380_TE851349CWWARR  ONLINE       0     0     0
            ata-HGST_HTS545050A7E680_RBE50A15053S8P     ONLINE       0     0     0
            ata-ST500LT012-9WS142_S0VBZS6K              ONLINE       0     0     0
            ata-WDC_WD5000LPCX-24VHAT0_WD-WX81AA7C894K  ONLINE       0     0     0

errors: No known data errors

[Армянское Радио]

ChikiHh, Ну, все чудесно, ZFS ни при делах.
mount что выдает?

[ChikiHh]

Много всего, прикладываю. Захожу /rpoolz/store/images/ там где должен образ лежать но там просто пустая папка

root@pve:/rpoolz# mount
sysfs on /sys type sysfs (rw,nosuid,nodev,noexec,relatime)
proc on /proc type proc (rw,relatime)
udev on /dev type devtmpfs (rw,nosuid,relatime,size=16397540k,nr_inodes=4099385,mode=755)
devpts on /dev/pts type devpts (rw,nosuid,noexec,relatime,gid=5,mode=620,ptmxmode=000)
tmpfs on /run type tmpfs (rw,nosuid,noexec,relatime,size=3284428k,mode=755)
/dev/mapper/pve-root on / type ext4 (rw,relatime,errors=remount-ro)
securityfs on /sys/kernel/security type securityfs (rw,nosuid,nodev,noexec,relatime)
tmpfs on /dev/shm type tmpfs (rw,nosuid,nodev)
tmpfs on /run/lock type tmpfs (rw,nosuid,nodev,noexec,relatime,size=5120k)
tmpfs on /sys/fs/cgroup type tmpfs (ro,nosuid,nodev,noexec,mode=755)
cgroup2 on /sys/fs/cgroup/unified type cgroup2 (rw,nosuid,nodev,noexec,relatime)
cgroup on /sys/fs/cgroup/systemd type cgroup (rw,nosuid,nodev,noexec,relatime,xattr,name=systemd)
pstore on /sys/fs/pstore type pstore (rw,nosuid,nodev,noexec,relatime)
efivarfs on /sys/firmware/efi/efivars type efivarfs (rw,nosuid,nodev,noexec,relatime)
bpf on /sys/fs/bpf type bpf (rw,nosuid,nodev,noexec,relatime,mode=700)
cgroup on /sys/fs/cgroup/freezer type cgroup (rw,nosuid,nodev,noexec,relatime,freezer)
cgroup on /sys/fs/cgroup/cpuset type cgroup (rw,nosuid,nodev,noexec,relatime,cpuset)
cgroup on /sys/fs/cgroup/cpu,cpuacct type cgroup (rw,nosuid,nodev,noexec,relatime,cpu,cpuacct)
cgroup on /sys/fs/cgroup/perf_event type cgroup (rw,nosuid,nodev,noexec,relatime,perf_event)
cgroup on /sys/fs/cgroup/rdma type cgroup (rw,nosuid,nodev,noexec,relatime,rdma)
cgroup on /sys/fs/cgroup/devices type cgroup (rw,nosuid,nodev,noexec,relatime,devices)
cgroup on /sys/fs/cgroup/net_cls,net_prio type cgroup (rw,nosuid,nodev,noexec,relatime,net_cls,net_prio)
cgroup on /sys/fs/cgroup/memory type cgroup (rw,nosuid,nodev,noexec,relatime,memory)
cgroup on /sys/fs/cgroup/hugetlb type cgroup (rw,nosuid,nodev,noexec,relatime,hugetlb)
cgroup on /sys/fs/cgroup/blkio type cgroup (rw,nosuid,nodev,noexec,relatime,blkio)
cgroup on /sys/fs/cgroup/pids type cgroup (rw,nosuid,nodev,noexec,relatime,pids)
mqueue on /dev/mqueue type mqueue (rw,relatime)
hugetlbfs on /dev/hugepages type hugetlbfs (rw,relatime,pagesize=2M)
debugfs on /sys/kernel/debug type debugfs (rw,relatime)
systemd-1 on /proc/sys/fs/binfmt_misc type autofs (rw,relatime,fd=50,pgrp=1,timeout=0,minproto=5,maxproto=5,direct,pipe_ino=19719)
sunrpc on /run/rpc_pipefs type rpc_pipefs (rw,relatime)
/dev/sde2 on /boot/efi type vfat (rw,relatime,fmask=0022,dmask=0022,codepage=437,iocharset=iso8859-1,shortname=mixed,errors=remount-ro)
configfs on /sys/kernel/config type configfs (rw,relatime)
fusectl on /sys/fs/fuse/connections type fusectl (rw,relatime)
lxcfs on /var/lib/lxcfs type fuse.lxcfs (rw,nosuid,nodev,relatime,user_id=0,group_id=0,allow_other)
/dev/fuse on /etc/pve type fuse (rw,nosuid,nodev,relatime,user_id=0,group_id=0,default_permissions,allow_other)
tmpfs on /run/user/0 type tmpfs (rw,nosuid,nodev,relatime,size=3284424k,mode=700)

[ChikiHh]

Спасибо вам за попытки помочь разобраться, вопрос решился.

Answer 1

[ChikiHh]

Сам отвечу - немного не хватило знаний устройства linux-систем, провозился пол дня пока разобрался.
В общем при загрузке после того как вытащил диски zpool развалился, а так как директория пула указана в Proxmox (/rpoolz), автоматом создались системные подпапки в директории /rpoolz, после того как zpool восстановился, он автоматом пытался примонтироваться к директории /rpoolz, но так как она была не пуста - не получалось. Помогло просто очистить пустые папки в директории /rpoolz.
Странно то что рейд вообще развалился и мне пришлось рандомно перетыкать все диски в разные сата-порты чтобы он заработал, т.к., почитав разные статьи, пришел к выводу что raidz не должен распадаться если поменять диски местами физически...