• По какой причине RAID1 при удалении одного из дисков блокируется?

    @anton13ms Автор вопроса
    по скрину он на md0 ругается....

    Да, я вижу, только не понятно, что с ним случилось, поскольку я его вообще не затрагивал.

    Вообщем, в итоге я полностью переустановил систему на форматированные жесткие диске, но проблема осталась, при удалении одного из дисков второго массива, система перестает загружаться.
    Придется так использовать, по крайней мере данные и сам массив можно активировать и восстановить, единственно, что при потере диска и перезагрузке не работает SSH (
  • По какой причине RAID1 при удалении одного из дисков блокируется?

    @anton13ms Автор вопроса
    Создал я новый массив. Дождался когда он синхронизируется. В итоге в mdstat вроде все нормально.
    Далее я перезагрузился и вот:
    5e4518800c07b599841986.jpeg

    Похоже, что с initramfs, что то случилось или нужно было перед перезагрузкой md1 в /etc/mdadm/mdadm.conf раскомментировать.

    Попробую начать все заново... И установить ОС на полностью чистые диски. И проверю как будет в подобной конфигурации работать массив md1...
  • По какой причине RAID1 при удалении одного из дисков блокируется?

    @anton13ms Автор вопроса
    zersh,
    Произвел пересоздание массива по вашей инструкции. После чего проверил, проблема осталась(
    Но возникло несколько дополнительных вопросов:

    1.
    после синхронизации - монтируем, /dev/md1 и заливаем данные

    Вы имеете ввиду в LVM? Дело в том, что он у меня автоматически монтируется...
    Или все таки перед удалением нужно было его от монтировать?

    2. Вы говорите:
    для проверки что массив работает, помечаем один из дисков как сбойный:

    mdadm --manage /dev/md1 --fail /dev/sdd1

    затем вообще удаляем диск из массива:

    mdadm --manage /dev/md1 --remove /dev/sdd1

    массив должен остаться лететь на одном диске. точка монтирования - должна быть доступна. можно закинуть файлы, или удалить

    Возвращаем диск в массив:

    mdadm --manage /dev/md1 --add /dev/sdd1

    Если так делать, то у меня и раньше бы все заводилось... Вопрос в том, что если диск в наглую отключить и после перезагрузки должна ли ОС загружаться в нормальном режиме или нет? Может быть просто в таком случае безопасный и грузиться, в LVM то я не от монтировал и т.п. ...

    3.
    (обычно сопровождается автоматической сборкой массива, но с самовольным переименованием куда-нибудь в md127)

    Да, действительно прыгнул в md127 :)))

    В общем, сейчас пробую сделать так:
    1. От монтировал в LVM
    2. Удалил локальный том в LVM
    3. Удалил массив
    4. Обнулил суперблоки
    5. За комментировал md1 в /etc/mdadm/mdadm.conf
    6. Обновил initramfs командой:
    update-initramfs -u
    7. Создал массив

    После синхронизации, создам все в LVM и при монтирую обратно.
    Если все останется как было, то наверное буду пользоваться как есть... По крайней мере, данные в таком случае, не теряются и если можно будет на этом серевере на горячую нормально менять диски в массиве(а это еще нужно будет проверить), то буду пользоваться так. Главное получается, вовремя заметить неисправность диска и не допускать перезагрузки иначе ssh потеряется:(
  • По какой причине RAID1 при удалении одного из дисков блокируется?

    @anton13ms Автор вопроса
    zersh,
    Хорошо попробую выполнить пересоздание массива.

    По поводу остановки загрузки во время ребута и точки монтирования virtualos - прежде чем убирать диск физически - удалите его из LVM. или, если это эксперименты - закомментируйте /virtualos в fstab - чтобы система не пыталась монтировать его. тогда загрузка пройдёт штатно.


    Я то это как себе представляю, в реальности диск может просто отвалиться, естественно будучи смонтированным и добавленным в массив.
    Просто раньше, у меня при "наглом" исключении диска из массива, система загружалась в нормально режиме...
    В принципе даже загрузившись в безопасном режиме (или как правильно называется?). Можно просто сделать раздел активным и добавить чистый (то есть новый) диск в замен старого и все будет работать штатно. Но я не уверен, что это правильно?:(

    Другими словами, то что происходит в моем случае, является нормальной ситуацией?
    Или все таки при удалении одного из дисков массива RAID 1, после перезагрузки в безопасный режим переходить система не должна?
  • По какой причине RAID1 при удалении одного из дисков блокируется?

    @anton13ms Автор вопроса
    zersh,
    скорее всего это из-за того что ломается lvm /virtualos
    система не может его смонтировать и вываливается

    Возможно, вопрос только в том, в чем именно ошибка:(
    а какой командой создавался массив?

    Массив создавался при установки Debian (средствами установщика).
    сейчас данные в массиве важны или это эксперименты для понимания?

    Нет, не важны. Это эксперимент. То есть сервер только на этапе ввода в эксплуатацию...
    какое состояние на текущий момент? оба диска подключены? массив собран, или как в посте, один отключён?

    На данный момент, возможно реализовать оба состояния...
  • По какой причине RAID1 при удалении одного из дисков блокируется?

    @anton13ms Автор вопроса
    zersh,
    при перезагрузке - у вас всегда запускается emegrency mode - ?

    Не всегда... Только если отключить от материнской платы один из дисков массива md1.

    выдача lsblk


    NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINT
    sda 8:0 0 465,8G 0 disk
    └─sda1 8:1 0 464,7G 0 part
    └─md0 9:0 0 464,6G 0 raid1
    ├─lvgroot-lvlroot-real 253:0 0 372,5G 0 lvm
    │ ├─lvgroot-lvlroot 253:1 0 372,5G 0 lvm /
    │ └─lvgroot-snaphot_root 253:3 0 372,5G 0 lvm
    ├─lvgroot-snaphot_root-cow 253:2 0 10G 0 lvm
    │ └─lvgroot-snaphot_root 253:3 0 372,5G 0 lvm
    └─lvgroot-lvlswap 253:4 0 7,5G 0 lvm [SWAP]
    sdb 8:16 0 465,8G 0 disk
    └─sdb1 8:17 0 464,7G 0 part
    └─md0 9:0 0 464,6G 0 raid1
    ├─lvgroot-lvlroot-real 253:0 0 372,5G 0 lvm
    │ ├─lvgroot-lvlroot 253:1 0 372,5G 0 lvm /
    │ └─lvgroot-snaphot_root 253:3 0 372,5G 0 lvm
    ├─lvgroot-snaphot_root-cow 253:2 0 10G 0 lvm
    │ └─lvgroot-snaphot_root 253:3 0 372,5G 0 lvm
    └─lvgroot-lvlswap 253:4 0 7,5G 0 lvm [SWAP]
    sdc 8:32 0 931,5G 0 disk
    └─sdc1 8:33 0 930,4G 0 part
    └─md1 9:1 0 930,3G 0 raid1
    └─lvgvirtualos-lvlvirtualos 253:6 0 930,3G 0 lvm /virtualos
    sdd 8:48 0 931,5G 0 disk
    └─sdd1 8:49 0 930,4G 0 part
    └─md1 9:1 0 930,3G 0 raid1
    └─lvgvirtualos-lvlvirtualos 253:6 0 930,3G 0 lvm /virtualos
    sde 8:64 0 68,4G 0 disk
    └─sde1 8:65 0 68,4G 0 part
    └─md2 9:2 0 136,6G 0 raid0
    └─lvgtempbackup-lvltempbackup 253:5 0 136,6G 0 lvm /tempbackup
    sdf 8:80 0 68,4G 0 disk
    └─sdf1 8:81 0 68,4G 0 part
    └─md2 9:2 0 136,6G 0 raid0
    └─lvgtempbackup-lvltempbackup 253:5 0 136,6G 0 lvm /tempbackup
  • По какой причине RAID1 при удалении одного из дисков блокируется?

    @anton13ms Автор вопроса
    /var/log/syslog часть 3

    Feb 11 15:46:44 phoenix kernel: [ 34.228583] ipmi_si: Trying SMBIOS-specified kcs state machine at i/o address 0xca2, slave address 0x20, irq 0
    Feb 11 15:46:44 phoenix kernel: [ 34.294606] EDAC e7xxx: tolm = f0000, remapbase = 100000, remaplimit = 10c000
    Feb 11 15:46:44 phoenix kernel: [ 34.295101] EDAC MC0: Giving out device to module e7xxx_edac controller E7501: DEV 0000:00:00.0 (POLLED)
    Feb 11 15:46:44 phoenix kernel: [ 34.295126] EDAC PCI0: Giving out device to module e7xxx_edac controller EDAC PCI controller: DEV 0000:00:00.0 (POLLED)
    Feb 11 15:46:44 phoenix kernel: [ 34.373884] intel_rng: FWH not detected
    Feb 11 15:46:44 phoenix kernel: [ 34.463062] sd 0:0:0:0: Attached scsi generic sg0 type 0
    Feb 11 15:46:44 phoenix kernel: [ 34.463914] sd 1:0:0:0: Attached scsi generic sg1 type 0
    Feb 11 15:46:44 phoenix kernel: [ 34.467477] sd 4:0:0:0: Attached scsi generic sg2 type 0
    Feb 11 15:46:44 phoenix kernel: [ 34.468369] sd 5:0:0:0: Attached scsi generic sg3 type 0
    Feb 11 15:46:44 phoenix kernel: [ 34.471635] sd 6:0:0:0: Attached scsi generic sg4 type 0
    Feb 11 15:46:44 phoenix kernel: [ 34.474430] sd 6:0:1:0: Attached scsi generic sg5 type 0
    Feb 11 15:46:44 phoenix kernel: [ 34.649778] ipmi_si dmi-ipmi-si.0: Found new BMC (man_id: 0x000157, prod_id: 0x001c, dev_id: 0x20)
    Feb 11 15:46:44 phoenix kernel: [ 34.729733] parport_pc 00:07: reported by Plug and Play ACPI
    Feb 11 15:46:44 phoenix kernel: [ 34.729942] parport0: PC-style at 0x378 (0x778), irq 7 [PCSPP,TRISTATE]
    Feb 11 15:46:44 phoenix kernel: [ 34.730161] iTCO_vendor_support: vendor-support=0
    Feb 11 15:46:44 phoenix kernel: [ 34.745735] iTCO_wdt: Intel TCO WatchDog Timer Driver v1.11
    Feb 11 15:46:44 phoenix kernel: [ 34.745833] iTCO_wdt: unable to reset NO_REBOOT flag, device disabled by hardware/BIOS
    Feb 11 15:46:44 phoenix kernel: [ 34.772324] ipmi_si dmi-ipmi-si.0: IPMI kcs interface initialized
    Feb 11 15:46:44 phoenix kernel: [ 34.797655] ppdev: user-space parallel port driver
    Feb 11 15:46:44 phoenix kernel: [ 35.747637] Adding 7811068k swap on /dev/mapper/lvgroot-lvlswap. Priority:-2 extents:1 across:7811068k FS
    Feb 11 15:46:44 phoenix kernel: [ 36.757223] EXT4-fs (dm-5): mounted filesystem with ordered data mode. Opts: (null)
    Feb 11 15:46:44 phoenix kernel: [ 37.050537] EXT4-fs (dm-6): mounted filesystem with ordered data mode. Opts: (null)
    Feb 11 15:46:44 phoenix kernel: [ 37.467832] audit: type=1400 audit(1581403604.520:2): apparmor="STATUS" operation="profile_load" profile="unconfined" name="nvidia_modprobe" pid=424 comm="apparmor_parser"
    Feb 11 15:46:44 phoenix kernel: [ 37.467856] audit: type=1400 audit(1581403604.520:3): apparmor="STATUS" operation="profile_load" profile="unconfined" name="nvidia_modprobe//kmod" pid=424 comm="apparmor_parser"
    Feb 11 15:46:44 phoenix kernel: [ 37.680972] IPv6: ADDRCONF(NETDEV_UP): enp1s4: link is not ready
    Feb 11 15:46:44 phoenix kernel: [ 37.688664] e1000: enp1s4 NIC Link is Up 100 Mbps Full Duplex, Flow Control: RX/TX
    Feb 11 15:46:44 phoenix kernel: [ 37.688833] IPv6: ADDRCONF(NETDEV_CHANGE): enp1s4: link becomes ready
    Feb 11 15:46:44 phoenix cron[446]: (CRON) INFO (Running @reboot jobs)
    Feb 11 15:46:44 phoenix systemd[1]: Started System Logging Service.
    Feb 11 15:46:44 phoenix systemd[1]: Started Raise network interfaces.
    Feb 11 15:46:44 phoenix systemd[1]: Started Login Service.
    Feb 11 15:46:44 phoenix systemd[1]: Reached target Network.
    Feb 11 15:46:45 phoenix systemd[1]: Starting OpenBSD Secure Shell server...
    Feb 11 15:46:45 phoenix systemd[1]: Starting Permit User Sessions...
    Feb 11 15:46:45 phoenix systemd[1]: Started Permit User Sessions.
    Feb 11 15:46:45 phoenix systemd[1]: Started Getty on tty1.
    Feb 11 15:46:45 phoenix systemd[1]: Reached target Login Prompts.
    Feb 11 15:46:45 phoenix systemd[1]: Started OpenBSD Secure Shell server.
    Feb 11 15:46:45 phoenix systemd[1]: Reached target Multi-User System.
    Feb 11 15:46:45 phoenix systemd[1]: Reached target Graphical Interface.
    Feb 11 15:46:45 phoenix systemd[1]: Starting Update UTMP about System Runlevel Changes...
    Feb 11 15:46:45 phoenix systemd[1]: systemd-update-utmp-runlevel.service: Succeeded.
    Feb 11 15:46:45 phoenix systemd[1]: Started Update UTMP about System Runlevel Changes.
    Feb 11 15:46:45 phoenix systemd[1]: Startup finished in 31.043s (kernel) + 7.377s (userspace) = 38.420s.
    Feb 11 15:47:13 phoenix systemd[1]: systemd-fsckd.service: Succeeded.
    Feb 11 15:49:16 phoenix systemd[1]: Created slice User Slice of UID 0.
    Feb 11 15:49:16 phoenix systemd[1]: Starting User Runtime Directory /run/user/0...
    Feb 11 15:49:16 phoenix systemd[1]: Started User Runtime Directory /run/user/0.
    Feb 11 15:49:16 phoenix systemd[1]: Starting User Manager for UID 0...
    Feb 11 15:49:16 phoenix systemd[469]: Reached target Timers.
    Feb 11 15:49:16 phoenix systemd[469]: Reached target Sockets.
    Feb 11 15:49:16 phoenix systemd[469]: Reached target Paths.
    Feb 11 15:49:16 phoenix systemd[469]: Reached target Basic System.
    Feb 11 15:49:16 phoenix systemd[469]: Reached target Default.
    Feb 11 15:49:16 phoenix systemd[469]: Startup finished in 193ms.
    Feb 11 15:49:16 phoenix systemd[1]: Started User Manager for UID 0.
    Feb 11 15:49:16 phoenix systemd[1]: Started Session 1 of user root.
    Feb 11 16:01:22 phoenix systemd[1]: Starting Cleanup of Temporary Directories...
    Feb 11 16:01:22 phoenix systemd[1]: systemd-tmpfiles-clean.service: Succeeded.
    Feb 11 16:01:22 phoenix systemd[1]: Started Cleanup of Temporary Directories.
    Feb 11 16:17:02 phoenix CRON[482]: (root) CMD ( cd / && run-parts --report /etc/cron.hourly)
    Feb 11 16:33:37 phoenix systemd[1]: Created slice User Slice of UID 1000.
    Feb 11 16:33:37 phoenix systemd[1]: Starting User Runtime Directory /run/user/1000...
    Feb 11 16:33:37 phoenix systemd[1]: Started User Runtime Directory /run/user/1000.
    Feb 11 16:33:37 phoenix systemd[1]: Starting User Manager for UID 1000...
    Feb 11 16:33:37 phoenix systemd[489]: Reached target Timers.
    Feb 11 16:33:37 phoenix systemd[489]: Reached target Paths.
    Feb 11 16:33:37 phoenix systemd[489]: Reached target Sockets.
    Feb 11 16:33:37 phoenix systemd[489]: Reached target Basic System.
    Feb 11 16:33:37 phoenix systemd[489]: Reached target Default.
    Feb 11 16:33:37 phoenix systemd[489]: Startup finished in 173ms.
    Feb 11 16:33:37 phoenix systemd[1]: Started User Manager for UID 1000.
    Feb 11 16:33:37 phoenix systemd[1]: Started Session 4 of user anton.
    Feb 11 16:42:35 phoenix systemd[1]: Stopping Availability of block devices...
    Feb 11 16:42:35 phoenix systemd[1]: Stopping LVM event activation on device 9:1...
    Feb 11 16:42:35 phoenix systemd[1]: lvm2-lvmpolld.socket: Succeeded.
    Feb 11 16:42:35 phoenix systemd[1]: Closed LVM2 poll daemon socket.
    Feb 11 16:42:35 phoenix systemd[1]: Stopped target Graphical Interface.
    Feb 11 16:42:35 phoenix systemd[1]: Stopping Session 4 of user anton.
    Feb 11 16:42:35 phoenix systemd[1]: Stopped target Multi-User System.
    Feb 11 16:42:35 phoenix systemd[1]: Stopping LVM event activation on device 9:0...

  • По какой причине RAID1 при удалении одного из дисков блокируется?

    @anton13ms Автор вопроса
    /var/log/syslog часть 2

    Feb 11 15:46:44 phoenix kernel: [ 6.862825] sd 1:0:0:0: [sdb] Mode Sense: 00 3a 00 00
    Feb 11 15:46:44 phoenix kernel: [ 6.862866] sd 1:0:0:0: [sdb] Write cache: enabled, read cache: enabled, doesn't support DPO or FUA
    Feb 11 15:46:44 phoenix kernel: [ 6.863265] sd 4:0:0:0: [sdc] 1953525168 512-byte logical blocks: (1.00 TB/932 GiB)
    Feb 11 15:46:44 phoenix kernel: [ 6.863272] sd 4:0:0:0: [sdc] 4096-byte physical blocks
    Feb 11 15:46:44 phoenix kernel: [ 6.863297] sd 4:0:0:0: [sdc] Write Protect is off
    Feb 11 15:46:44 phoenix kernel: [ 6.863302] sd 4:0:0:0: [sdc] Mode Sense: 00 3a 00 00
    Feb 11 15:46:44 phoenix kernel: [ 6.863345] sd 4:0:0:0: [sdc] Write cache: enabled, read cache: enabled, doesn't support DPO or FUA
    Feb 11 15:46:44 phoenix kernel: [ 6.865567] sd 5:0:0:0: [sdd] 1953525168 512-byte logical blocks: (1.00 TB/932 GiB)
    Feb 11 15:46:44 phoenix kernel: [ 6.865573] sd 5:0:0:0: [sdd] 4096-byte physical blocks
    Feb 11 15:46:44 phoenix kernel: [ 6.865602] sd 5:0:0:0: [sdd] Write Protect is off
    Feb 11 15:46:44 phoenix kernel: [ 6.865606] sd 5:0:0:0: [sdd] Mode Sense: 00 3a 00 00
    Feb 11 15:46:44 phoenix kernel: [ 6.865645] sd 5:0:0:0: [sdd] Write cache: enabled, read cache: enabled, doesn't support DPO or FUA
    Feb 11 15:46:44 phoenix kernel: [ 6.874210] sdb: sdb1
    Feb 11 15:46:44 phoenix kernel: [ 6.874960] sda: sda1
    Feb 11 15:46:44 phoenix kernel: [ 6.874982] sd 1:0:0:0: [sdb] Attached SCSI disk
    Feb 11 15:46:44 phoenix kernel: [ 6.875628] sd 0:0:0:0: [sda] Attached SCSI disk
    Feb 11 15:46:44 phoenix kernel: [ 6.883882] sdd: sdd1
    Feb 11 15:46:44 phoenix kernel: [ 6.884584] sdc: sdc1
    Feb 11 15:46:44 phoenix kernel: [ 6.884691] sd 5:0:0:0: [sdd] Attached SCSI disk
    Feb 11 15:46:44 phoenix kernel: [ 6.885444] sd 4:0:0:0: [sdc] Attached SCSI disk
    Feb 11 15:46:44 phoenix kernel: [ 7.048536] random: fast init done
    Feb 11 15:46:44 phoenix kernel: [ 7.113517] md/raid1:md0: active with 2 out of 2 mirrors
    Feb 11 15:46:44 phoenix kernel: [ 7.113811] md/raid1:md1: active with 2 out of 2 mirrors
    Feb 11 15:46:44 phoenix kernel: [ 7.148958] md0: detected capacity change from 0 to 498864226304
    Feb 11 15:46:44 phoenix kernel: [ 7.164653] md1: detected capacity change from 0 to 998864060416
    Feb 11 15:46:44 phoenix kernel: [ 20.184219] scsi host6: Adaptec AIC79XX PCI-X SCSI HBA DRIVER, Rev 3.0
    Feb 11 15:46:44 phoenix kernel: [ 20.184219]
    Feb 11 15:46:44 phoenix kernel: [ 20.184219] aic7901A: Ultra320 Wide Channel A, SCSI Id=7, PCI-X 67-100MHz, 512 SCBs
    Feb 11 15:46:44 phoenix kernel: [ 20.196266] scsi 6:0:0:0: Direct-Access SEAGATE ST373207LW 0005 PQ: 0 ANSI: 3
    Feb 11 15:46:44 phoenix kernel: [ 20.196280] scsi target6:0:0: asynchronous
    Feb 11 15:46:44 phoenix kernel: [ 20.196283] scsi6:A:0:0:
    Feb 11 15:46:44 phoenix kernel: [ 20.196285] Tagged Queuing enabled. Depth 32
    Feb 11 15:46:44 phoenix kernel: [ 20.224199] scsi target6:0:0: Beginning Domain Validation
    Feb 11 15:46:44 phoenix kernel: [ 20.227960] scsi target6:0:0: wide asynchronous
    Feb 11 15:46:44 phoenix kernel: [ 20.230773] scsi target6:0:0: FAST-160 WIDE SCSI 320.0 MB/s DT IU QAS RDSTRM WRFLOW PCOMP (6.25 ns, offset 63)
    Feb 11 15:46:44 phoenix kernel: [ 20.245970] scsi 6:0:0:0: Power-on or device reset occurred
    Feb 11 15:46:44 phoenix kernel: [ 20.249178] scsi target6:0:0: Ending Domain Validation
    Feb 11 15:46:44 phoenix kernel: [ 20.258782] scsi 6:0:1:0: Direct-Access SEAGATE ST373207LW 0005 PQ: 0 ANSI: 3
    Feb 11 15:46:44 phoenix kernel: [ 20.258796] scsi target6:0:1: asynchronous
    Feb 11 15:46:44 phoenix kernel: [ 20.258799] scsi6:A:1:0:
    Feb 11 15:46:44 phoenix kernel: [ 20.258801] Tagged Queuing enabled. Depth 32
    Feb 11 15:46:44 phoenix kernel: [ 20.276197] scsi target6:0:1: Beginning Domain Validation
    Feb 11 15:46:44 phoenix kernel: [ 20.279949] scsi target6:0:1: wide asynchronous
    Feb 11 15:46:44 phoenix kernel: [ 20.282781] scsi target6:0:1: FAST-160 WIDE SCSI 320.0 MB/s DT IU QAS RDSTRM WRFLOW PCOMP (6.25 ns, offset 63)
    Feb 11 15:46:44 phoenix kernel: [ 20.297995] scsi 6:0:1:0: Power-on or device reset occurred
    Feb 11 15:46:44 phoenix kernel: [ 20.301260] scsi target6:0:1: Ending Domain Validation
    Feb 11 15:46:44 phoenix kernel: [ 23.675229] sd 6:0:0:0: [sde] 143374744 512-byte logical blocks: (73.4 GB/68.4 GiB)
    Feb 11 15:46:44 phoenix kernel: [ 23.675329] sd 6:0:1:0: [sdf] 143374744 512-byte logical blocks: (73.4 GB/68.4 GiB)
    Feb 11 15:46:44 phoenix kernel: [ 23.676679] sd 6:0:0:0: [sde] Write Protect is off
    Feb 11 15:46:44 phoenix kernel: [ 23.676682] sd 6:0:0:0: [sde] Mode Sense: ab 00 10 08
    Feb 11 15:46:44 phoenix kernel: [ 23.676735] sd 6:0:1:0: [sdf] Write Protect is off
    Feb 11 15:46:44 phoenix kernel: [ 23.676738] sd 6:0:1:0: [sdf] Mode Sense: ab 00 10 08
    Feb 11 15:46:44 phoenix kernel: [ 23.678503] sd 6:0:0:0: [sde] Write cache: disabled, read cache: enabled, supports DPO and FUA
    Feb 11 15:46:44 phoenix kernel: [ 23.678560] sd 6:0:1:0: [sdf] Write cache: enabled, read cache: enabled, supports DPO and FUA
    Feb 11 15:46:44 phoenix kernel: [ 23.691875] random: crng init done
    Feb 11 15:46:44 phoenix kernel: [ 23.691944] sdf: sdf1
    Feb 11 15:46:44 phoenix kernel: [ 23.694961] sde: sde1
    Feb 11 15:46:44 phoenix kernel: [ 23.697001] sd 6:0:1:0: [sdf] Attached SCSI disk
    Feb 11 15:46:44 phoenix kernel: [ 23.699884] sd 6:0:0:0: [sde] Attached SCSI disk
    Feb 11 15:46:44 phoenix kernel: [ 23.919498] md2: detected capacity change from 0 to 146676908032
    Feb 11 15:46:44 phoenix kernel: [ 24.128211] raid6: mmxx1 gen() 1845 MB/s
    Feb 11 15:46:44 phoenix kernel: [ 24.196212] raid6: mmxx2 gen() 2513 MB/s
    Feb 11 15:46:44 phoenix kernel: [ 24.264208] raid6: sse1x1 gen() 1294 MB/s
    Feb 11 15:46:44 phoenix kernel: [ 24.332229] raid6: sse1x2 gen() 1773 MB/s
    Feb 11 15:46:44 phoenix kernel: [ 24.400206] raid6: sse2x1 gen() 2125 MB/s
    Feb 11 15:46:44 phoenix kernel: [ 24.468193] raid6: sse2x1 xor() 1580 MB/s
    Feb 11 15:46:44 phoenix kernel: [ 24.536206] raid6: sse2x2 gen() 2627 MB/s
    Feb 11 15:46:44 phoenix kernel: [ 24.604199] raid6: sse2x2 xor() 1583 MB/s
    Feb 11 15:46:44 phoenix kernel: [ 24.604202] raid6: using algorithm sse2x2 gen() 2627 MB/s
    Feb 11 15:46:44 phoenix kernel: [ 24.604204] raid6: .... xor() 1583 MB/s, rmw enabled
    Feb 11 15:46:44 phoenix kernel: [ 24.604207] raid6: using intx1 recovery algorithm
    Feb 11 15:46:44 phoenix kernel: [ 24.608697] xor: measuring software checksum speed
    Feb 11 15:46:44 phoenix kernel: [ 24.648193] pIII_sse : 3406.000 MB/sec
    Feb 11 15:46:44 phoenix kernel: [ 24.688192] prefetch64-sse: 4242.000 MB/sec
    Feb 11 15:46:44 phoenix kernel: [ 24.688196] xor: using function: prefetch64-sse (4242.000 MB/sec)
    Feb 11 15:46:44 phoenix kernel: [ 24.691702] async_tx: api initialized (async)
    Feb 11 15:46:44 phoenix kernel: [ 24.895843] device-mapper: uevent: version 1.0.3
    Feb 11 15:46:44 phoenix kernel: [ 24.896072] device-mapper: ioctl: 4.39.0-ioctl (2018-04-03) initialised: dm-devel@redhat.com
    Feb 11 15:46:44 phoenix kernel: [ 29.082510] PM: Image not found (code -22)
    Feb 11 15:46:44 phoenix kernel: [ 29.386746] cryptd: max_cpu_qlen set to 1000
    Feb 11 15:46:44 phoenix kernel: [ 29.685428] EXT4-fs (dm-1): mounted filesystem with ordered data mode. Opts: (null)
    Feb 11 15:46:44 phoenix kernel: [ 33.049490] EXT4-fs (dm-1): re-mounted. Opts: errors=remount-ro
    Feb 11 15:46:44 phoenix kernel: [ 34.095398] input: Power Button as /devices/LNXSYSTM:00/LNXPWRBN:00/input/input5
    Feb 11 15:46:44 phoenix kernel: [ 34.095466] ACPI: Power Button [PWRF]
    Feb 11 15:46:44 phoenix kernel: [ 34.113580] input: PC Speaker as /devices/platform/pcspkr/input/input6
    Feb 11 15:46:44 phoenix kernel: [ 34.167564] version 39.2
    Feb 11 15:46:44 phoenix kernel: [ 34.182882] ipmi device interface
    Feb 11 15:46:44 phoenix kernel: [ 34.228310] IPMI System Interface driver.
    Feb 11 15:46:44 phoenix kernel: [ 34.228378] ipmi_si dmi-ipmi-si.0: ipmi_platform: probing via SMBIOS
    Feb 11 15:46:44 phoenix kernel: [ 34.228386] ipmi_si: SMBIOS: io 0xca2 regsize 1 spacing 1 irq 0
    Feb 11 15:46:44 phoenix kernel: [ 34.228390] ipmi_si: Adding SMBIOS-specified kcs state machine

  • По какой причине RAID1 при удалении одного из дисков блокируется?

    @anton13ms Автор вопроса
    hint000,
    В /var/log/syslog тоже вроде бы все в порядке...
    /var/log/syslog часть 1


    Feb 11 15:46:44 phoenix kernel: [ 4.877917] uhci_hcd 0000:00:1d.2: new USB bus registered, assigned bus number 3
    Feb 11 15:46:44 phoenix kernel: [ 4.877928] uhci_hcd 0000:00:1d.2: detected 2 ports
    Feb 11 15:46:44 phoenix kernel: [ 4.877955] uhci_hcd 0000:00:1d.2: irq 18, io base 0x00003000
    Feb 11 15:46:44 phoenix kernel: [ 4.878150] usb usb3: New USB device found, idVendor=1d6b, idProduct=0001, bcdDevice= 4.19
    Feb 11 15:46:44 phoenix kernel: [ 4.878154] usb usb3: New USB device strings: Mfr=3, Product=2, SerialNumber=1
    Feb 11 15:46:44 phoenix kernel: [ 4.878157] usb usb3: Product: UHCI Host Controller
    Feb 11 15:46:44 phoenix kernel: [ 4.878161] usb usb3: Manufacturer: Linux 4.19.0-8-686-pae uhci_hcd
    Feb 11 15:46:44 phoenix kernel: [ 4.878164] usb usb3: SerialNumber: 0000:00:1d.2
    Feb 11 15:46:44 phoenix kernel: [ 4.879506] ata_piix 0000:00:1f.1: version 2.13
    Feb 11 15:46:44 phoenix kernel: [ 4.879521] ata_piix 0000:00:1f.1: enabling device (0005 -> 0007)
    Feb 11 15:46:44 phoenix kernel: [ 4.880252] hub 3-0:1.0: USB hub found
    Feb 11 15:46:44 phoenix kernel: [ 4.880277] hub 3-0:1.0: 2 ports detected
    Feb 11 15:46:44 phoenix kernel: [ 4.882061] scsi host1: sata_promise
    Feb 11 15:46:44 phoenix kernel: [ 4.882094] scsi host2: ata_piix
    Feb 11 15:46:44 phoenix kernel: [ 4.882484] scsi host3: ata_piix
    Feb 11 15:46:44 phoenix kernel: [ 4.882634] ata5: PATA max UDMA/100 cmd 0x1f0 ctl 0x3f6 bmdma 0x3a0 irq 14
    Feb 11 15:46:44 phoenix kernel: [ 4.882638] ata6: PATA max UDMA/100 cmd 0x170 ctl 0x376 bmdma 0x3a8 irq 15
    Feb 11 15:46:44 phoenix kernel: [ 4.899891] scsi host4: sata_promise
    Feb 11 15:46:44 phoenix kernel: [ 4.900766] scsi host5: sata_promise
    Feb 11 15:46:44 phoenix kernel: [ 4.900962] ata1: SATA max UDMA/133 mmio m4096@0xfe8f0000 ata 0xfe8f0380 irq 18
    Feb 11 15:46:44 phoenix kernel: [ 4.900966] ata2: SATA max UDMA/133 mmio m4096@0xfe8f0000 ata 0xfe8f0280 irq 18
    Feb 11 15:46:44 phoenix kernel: [ 4.900971] ata3: SATA max UDMA/133 mmio m4096@0xfe8f0000 ata 0xfe8f0200 irq 18
    Feb 11 15:46:44 phoenix kernel: [ 4.900974] ata4: SATA max UDMA/133 mmio m4096@0xfe8f0000 ata 0xfe8f0300 irq 18
    Feb 11 15:46:44 phoenix kernel: [ 4.909946] e100 0000:01:03.0 enp1s3: renamed from eth0
    Feb 11 15:46:44 phoenix kernel: [ 5.162138] e1000 0000:01:04.0 eth0: (PCI:33MHz:32-bit) 00:07:e9:3f:b3:b3
    Feb 11 15:46:44 phoenix kernel: [ 5.162153] e1000 0000:01:04.0 eth0: Intel(R) PRO/1000 Network Connection
    Feb 11 15:46:44 phoenix kernel: [ 5.165628] e1000 0000:01:04.0 enp1s4: renamed from eth0
    Feb 11 15:46:44 phoenix kernel: [ 5.296203] usb 2-1: new low-speed USB device number 2 using uhci_hcd
    Feb 11 15:46:44 phoenix kernel: [ 5.372231] ata1: SATA link up 3.0 Gbps (SStatus 123 SControl 300)
    Feb 11 15:46:44 phoenix kernel: [ 5.391344] ata1.00: ATA-8: WDC WD5000AADS-00S9B0, 01.00A01, max UDMA/133
    Feb 11 15:46:44 phoenix kernel: [ 5.391348] ata1.00: 976773168 sectors, multi 0: LBA48 NCQ (depth 0/32)
    Feb 11 15:46:44 phoenix kernel: [ 5.394102] ata1.00: configured for UDMA/133
    Feb 11 15:46:44 phoenix kernel: [ 5.394339] scsi 0:0:0:0: Direct-Access ATA WDC WD5000AADS-0 0A01 PQ: 0 ANSI: 5
    Feb 11 15:46:44 phoenix kernel: [ 5.473489] usb 2-1: New USB device found, idVendor=2101, idProduct=020f, bcdDevice= 0.01
    Feb 11 15:46:44 phoenix kernel: [ 5.473493] usb 2-1: New USB device strings: Mfr=0, Product=0, SerialNumber=0
    Feb 11 15:46:44 phoenix kernel: [ 5.489819] hidraw: raw HID events driver (C) Jiri Kosina
    Feb 11 15:46:44 phoenix kernel: [ 5.529785] usbcore: registered new interface driver usbhid
    Feb 11 15:46:44 phoenix kernel: [ 5.529789] usbhid: USB HID core driver
    Feb 11 15:46:44 phoenix kernel: [ 5.538567] input: HID 2101:020f as /devices/pci0000:00/0000:00:1d.1/usb2/2-1/2-1:1.0/0003:2101:020F.0001/input/input3
    Feb 11 15:46:44 phoenix kernel: [ 5.596809] hid-generic 0003:2101:020F.0001: input,hidraw0: USB HID v1.01 Keyboard [HID 2101:020f] on usb-0000:00:1d.1-1/input0
    Feb 11 15:46:44 phoenix kernel: [ 5.598886] input: HID 2101:020f as /devices/pci0000:00/0000:00:1d.1/usb2/2-1/2-1:1.1/0003:2101:020F.0002/input/input4
    Feb 11 15:46:44 phoenix kernel: [ 5.599241] hid-generic 0003:2101:020F.0002: input,hidraw1: USB HID v1.01 Mouse [HID 2101:020f] on usb-0000:00:1d.1-1/input1
    Feb 11 15:46:44 phoenix kernel: [ 5.868230] ata2: SATA link up 3.0 Gbps (SStatus 123 SControl 300)
    Feb 11 15:46:44 phoenix kernel: [ 5.886540] ata2.00: ATA-8: WDC WD5000AADS-00S9B0, 01.00A01, max UDMA/133
    Feb 11 15:46:44 phoenix kernel: [ 5.886543] ata2.00: 976773168 sectors, multi 0: LBA48 NCQ (depth 0/32)
    Feb 11 15:46:44 phoenix kernel: [ 5.889318] ata2.00: configured for UDMA/133
    Feb 11 15:46:44 phoenix kernel: [ 5.889556] scsi 1:0:0:0: Direct-Access ATA WDC WD5000AADS-0 0A01 PQ: 0 ANSI: 5
    Feb 11 15:46:44 phoenix kernel: [ 6.360227] ata3: SATA link up 3.0 Gbps (SStatus 123 SControl 300)
    Feb 11 15:46:44 phoenix kernel: [ 6.362865] ata3.00: ATA-10: WDC WD10EZEX-00WN4A0, 01.01A01, max UDMA/133
    Feb 11 15:46:44 phoenix kernel: [ 6.362869] ata3.00: 1953525168 sectors, multi 16: LBA48 NCQ (depth 0/32)
    Feb 11 15:46:44 phoenix kernel: [ 6.365605] ata3.00: configured for UDMA/133
    Feb 11 15:46:44 phoenix kernel: [ 6.365841] scsi 4:0:0:0: Direct-Access ATA WDC WD10EZEX-00W 1A01 PQ: 0 ANSI: 5
    Feb 11 15:46:44 phoenix kernel: [ 6.836254] ata4: SATA link up 3.0 Gbps (SStatus 123 SControl 300)
    Feb 11 15:46:44 phoenix kernel: [ 6.838882] ata4.00: ATA-10: WDC WD10EZEX-00WN4A0, 01.01A01, max UDMA/133
    Feb 11 15:46:44 phoenix kernel: [ 6.838885] ata4.00: 1953525168 sectors, multi 16: LBA48 NCQ (depth 0/32)
    Feb 11 15:46:44 phoenix kernel: [ 6.841621] ata4.00: configured for UDMA/133
    Feb 11 15:46:44 phoenix kernel: [ 6.841846] scsi 5:0:0:0: Direct-Access ATA WDC WD10EZEX-00W 1A01 PQ: 0 ANSI: 5
    Feb 11 15:46:44 phoenix kernel: [ 6.861416] sd 0:0:0:0: [sda] 976773168 512-byte logical blocks: (500 GB/466 GiB)
    Feb 11 15:46:44 phoenix kernel: [ 6.861440] sd 0:0:0:0: [sda] Write Protect is off
    Feb 11 15:46:44 phoenix kernel: [ 6.861444] sd 0:0:0:0: [sda] Mode Sense: 00 3a 00 00
    Feb 11 15:46:44 phoenix kernel: [ 6.861479] sd 0:0:0:0: [sda] Write cache: enabled, read cache: enabled, doesn't support DPO or FUA
    Feb 11 15:46:44 phoenix kernel: [ 6.862791] sd 1:0:0:0: [sdb] 976773168 512-byte logical blocks: (500 GB/466 GiB)
    Feb 11 15:46:44 phoenix kernel: [ 6.862819] sd 1:0:0:0: [sdb] Write Protect is off

  • По какой причине RAID1 при удалении одного из дисков блокируется?

    @anton13ms Автор вопроса
    dmesg с одним из дисков массива (то есть когда массив не активный)


    [ 4.838039] sata_promise 0000:01:09.0: version 2.12
    [ 4.864102] ata_piix 0000:00:1f.1: version 2.13
    [ 4.864121] ata_piix 0000:00:1f.1: enabling device (0005 -> 0007)
    [ 4.866169] scsi host1: ata_piix
    [ 4.866556] scsi host2: ata_piix
    [ 4.866709] ata5: PATA max UDMA/100 cmd 0x1f0 ctl 0x3f6 bmdma 0x3a0 irq 14
    [ 4.866713] ata6: PATA max UDMA/100 cmd 0x170 ctl 0x376 bmdma 0x3a8 irq 15
    [ 4.868324] scsi host0: sata_promise
    [ 4.868686] scsi host3: sata_promise
    [ 4.869065] scsi host4: sata_promise
    [ 4.869348] scsi host5: sata_promise
    [ 4.869500] ata1: SATA max UDMA/133 mmio m4096@0xfe8f0000 ata 0xfe8f0380 irq 18
    [ 4.869504] ata2: SATA max UDMA/133 mmio m4096@0xfe8f0000 ata 0xfe8f0280 irq 18
    [ 4.869508] ata3: SATA max UDMA/133 mmio m4096@0xfe8f0000 ata 0xfe8f0200 irq 18
    [ 4.869512] ata4: SATA max UDMA/133 mmio m4096@0xfe8f0000 ata 0xfe8f0300 irq 18

    [ 4.900375] e100 0000:01:03.0 eth0: addr 0xfe7e0000, irq 20, MAC addr 00:07:e9:3f:b3:b2
    [ 4.906542] e100 0000:01:03.0 enp1s3: renamed from eth0
    [ 5.128795] usb 2-1: new low-speed USB device number 2 using uhci_hcd
    [ 5.214709] e1000 0000:01:04.0 eth0: (PCI:33MHz:32-bit) 00:07:e9:3f:b3:b3
    [ 5.214724] e1000 0000:01:04.0 eth0: Intel(R) PRO/1000 Network Connection
    [ 5.218140] e1000 0000:01:04.0 enp1s4: renamed from eth0
    [ 5.306517] usb 2-1: New USB device found, idVendor=2101, idProduct=020f, bcdDevice= 0.01
    [ 5.306522] usb 2-1: New USB device strings: Mfr=0, Product=0, SerialNumber=0
    [ 5.322367] hidraw: raw HID events driver (C) Jiri Kosina

    [ 5.340839] ata1: SATA link up 3.0 Gbps (SStatus 123 SControl 300)
    [ 5.354160] ata1.00: ATA-8: WDC WD5000AADS-00S9B0, 01.00A01, max UDMA/133
    [ 5.354164] ata1.00: 976773168 sectors, multi 0: LBA48 NCQ (depth 0/32)
    [ 5.356962] ata1.00: configured for UDMA/133
    [ 5.357210] scsi 0:0:0:0: Direct-Access ATA WDC WD5000AADS-0 0A01 PQ: 0 ANSI: 5

    [ 5.362815] usbcore: registered new interface driver usbhid
    [ 5.362818] usbhid: USB HID core driver
    [ 5.371955] input: HID 2101:020f as /devices/pci0000:00/0000:00:1d.1/usb2/2-1/2-1:1.0/0003:2101:020F.0001/input/input3
    [ 5.429225] hid-generic 0003:2101:020F.0001: input,hidraw0: USB HID v1.01 Keyboard [HID 2101:020f] on usb-0000:00:1d.1-1/input0
    [ 5.430571] input: HID 2101:020f as /devices/pci0000:00/0000:00:1d.1/usb2/2-1/2-1:1.1/0003:2101:020F.0002/input/input4
    [ 5.430797] hid-generic 0003:2101:020F.0002: input,hidraw1: USB HID v1.01 Mouse [HID 2101:020f] on usb-0000:00:1d.1-1/input1
    [ 5.828813] ata2: SATA link up 3.0 Gbps (SStatus 123 SControl 300)
    [ 5.847630] ata2.00: ATA-8: WDC WD5000AADS-00S9B0, 01.00A01, max UDMA/133
    [ 5.847634] ata2.00: 976773168 sectors, multi 0: LBA48 NCQ (depth 0/32)
    [ 5.850406] ata2.00: configured for UDMA/133
    [ 5.850636] scsi 3:0:0:0: Direct-Access ATA WDC WD5000AADS-0 0A01 PQ: 0 ANSI: 5
    [ 6.320809] ata3: SATA link up 3.0 Gbps (SStatus 123 SControl 300)
    [ 6.323438] ata3.00: ATA-10: WDC WD10EZEX-00WN4A0, 01.01A01, max UDMA/133
    [ 6.323441] ata3.00: 1953525168 sectors, multi 16: LBA48 NCQ (depth 0/32)
    [ 6.326189] ata3.00: configured for UDMA/133
    [ 6.326445] scsi 4:0:0:0: Direct-Access ATA WDC WD10EZEX-00W 1A01 PQ: 0 ANSI: 5
    [ 6.639040] ata4: SATA link down (SStatus 0 SControl 300)

    [ 6.658000] sd 0:0:0:0: [sda] 976773168 512-byte logical blocks: (500 GB/466 GiB)
    [ 6.658027] sd 0:0:0:0: [sda] Write Protect is off
    [ 6.658032] sd 0:0:0:0: [sda] Mode Sense: 00 3a 00 00
    [ 6.658072] sd 0:0:0:0: [sda] Write cache: enabled, read cache: enabled, doesn't support DPO or FUA
    [ 6.658471] sd 3:0:0:0: [sdb] 976773168 512-byte logical blocks: (500 GB/466 GiB)
    [ 6.658498] sd 3:0:0:0: [sdb] Write Protect is off
    [ 6.658503] sd 3:0:0:0: [sdb] Mode Sense: 00 3a 00 00
    [ 6.658544] sd 3:0:0:0: [sdb] Write cache: enabled, read cache: enabled, doesn't support DPO or FUA
    [ 6.658882] sd 4:0:0:0: [sdc] 1953525168 512-byte logical blocks: (1.00 TB/932 GiB)
    [ 6.658887] sd 4:0:0:0: [sdc] 4096-byte physical blocks
    [ 6.658906] sd 4:0:0:0: [sdc] Write Protect is off
    [ 6.658911] sd 4:0:0:0: [sdc] Mode Sense: 00 3a 00 00
    [ 6.658952] sd 4:0:0:0: [sdc] Write cache: enabled, read cache: enabled, doesn't support DPO or FUA
    [ 6.667339] sdb: sdb1

    [ 6.668044] sd 3:0:0:0: [sdb] Attached SCSI disk
    [ 6.669746] sda: sda1

    [ 6.670492] sd 0:0:0:0: [sda] Attached SCSI disk
    [ 6.677638] sdc: sdc1

    [ 6.678313] sd 4:0:0:0: [sdc] Attached SCSI disk

    [ 6.904107] md/raid1:md0: active with 2 out of 2 mirrors
    [ 6.931704] random: fast init done

    [ 6.941949] md0: detected capacity change from 0 to 498864226304

    [ 20.184809] scsi host6: Adaptec AIC79XX PCI-X SCSI HBA DRIVER, Rev 3.0

    aic7901A: Ultra320 Wide Channel A, SCSI Id=7, PCI-X 67-100MHz, 512 SCBs
    [ 20.196921] scsi 6:0:0:0: Direct-Access SEAGATE ST373207LW 0005 PQ: 0 ANSI: 3
    [ 20.196935] scsi target6:0:0: asynchronous
    [ 20.196938] scsi6:A:0:0:
    [ 20.196940] Tagged Queuing enabled. Depth 32
    [ 20.216785] scsi target6:0:0: Beginning Domain Validation
    [ 20.220527] scsi target6:0:0: wide asynchronous
    [ 20.223336] scsi target6:0:0: FAST-160 WIDE SCSI 320.0 MB/s DT IU QAS RDSTRM WRFLOW PCOMP (6.25 ns, offset 63)
    [ 20.238551] scsi 6:0:0:0: Power-on or device reset occurred
    [ 20.241769] scsi target6:0:0: Ending Domain Validation
    [ 20.254285] scsi 6:0:1:0: Direct-Access SEAGATE ST373207LW 0005 PQ: 0 ANSI: 3
    [ 20.254299] scsi target6:0:1: asynchronous
    [ 20.254303] scsi6:A:1:0:
    [ 20.254305] Tagged Queuing enabled. Depth 32
    [ 20.268784] scsi target6:0:1: Beginning Domain Validation
    [ 20.272546] scsi target6:0:1: wide asynchronous
    [ 20.275372] scsi target6:0:1: FAST-160 WIDE SCSI 320.0 MB/s DT IU QAS RDSTRM WRFLOW PCOMP (6.25 ns, offset 63)
    [ 20.290578] scsi 6:0:1:0: Power-on or device reset occurred
    [ 20.293887] scsi target6:0:1: Ending Domain Validation
    [ 23.669757] sd 6:0:0:0: [sdd] 143374744 512-byte logical blocks: (73.4 GB/68.4 GiB)
    [ 23.669845] sd 6:0:1:0: [sde] 143374744 512-byte logical blocks: (73.4 GB/68.4 GiB)
    [ 23.671192] sd 6:0:0:0: [sdd] Write Protect is off
    [ 23.671195] sd 6:0:0:0: [sdd] Mode Sense: ab 00 10 08
    [ 23.671251] sd 6:0:1:0: [sde] Write Protect is off
    [ 23.671254] sd 6:0:1:0: [sde] Mode Sense: ab 00 10 08
    [ 23.673022] sd 6:0:0:0: [sdd] Write cache: disabled, read cache: enabled, supports DPO and FUA
    [ 23.673076] sd 6:0:1:0: [sde] Write cache: enabled, read cache: enabled, supports DPO and FUA
    [ 23.683643] sdd: sdd1
    [ 23.687221] sde: sde1

    [ 23.688659] sd 6:0:0:0: [sdd] Attached SCSI disk

    [ 23.692199] sd 6:0:1:0: [sde] Attached SCSI disk
    [ 23.907807] md2: detected capacity change from 0 to 146676908032
    [ 24.124814] raid6: mmxx1 gen() 1994 MB/s
    [ 24.192792] raid6: mmxx2 gen() 2529 MB/s
    [ 24.260798] raid6: sse1x1 gen() 1277 MB/s
    [ 24.328783] raid6: sse1x2 gen() 1758 MB/s
    [ 24.396783] raid6: sse2x1 gen() 2141 MB/s
    [ 24.464780] raid6: sse2x1 xor() 1576 MB/s
    [ 24.532789] raid6: sse2x2 gen() 2627 MB/s
    [ 24.600776] raid6: sse2x2 xor() 1582 MB/s
    [ 24.600779] raid6: using algorithm sse2x2 gen() 2627 MB/s
    [ 24.600780] raid6: .... xor() 1582 MB/s, rmw enabled
    [ 24.600782] raid6: using intx1 recovery algorithm
    [ 24.605408] xor: measuring software checksum speed
    [ 24.644778] pIII_sse : 3422.000 MB/sec
    [ 24.684774] prefetch64-sse: 4415.000 MB/sec
    [ 24.684777] xor: using function: prefetch64-sse (4415.000 MB/sec)
    [ 24.688418] async_tx: api initialized (async)
    [ 24.773005] random: lvm: uninitialized urandom read (4 bytes read)
    [ 25.234544] random: crng init done
    [ 25.295333] device-mapper: uevent: version 1.0.3
    [ 25.295564] device-mapper: ioctl: 4.39.0-ioctl (2018-04-03) initialised: dm-devel@redhat.com
    [ 29.311442] PM: Image not found (code -22)
    [ 29.611548] cryptd: max_cpu_qlen set to 1000
    [ 29.877734] EXT4-fs (dm-1): mounted filesystem with ordered data mode. Opts: (null)



    Дополнительно попробовал вывести массив из состояние "неактивного" командами:
    # mdadm --stop /dev/md1
    # mdadm --assemble --force /dev/md1

    Но хотя массив и стал активным и в выдаче mdstat показывает, что один диск рабочий, файлы в директории которая относиться к массиву не видны...
    Ну и соответственно после перезагрузки, массив снова становиться неактивным...
  • По какой причине RAID1 при удалении одного из дисков блокируется?

    @anton13ms Автор вопроса
    Melkij,
    В dmesg, какого либо кременала не увидел, ну понятно, кроме того, что массив md1 не пытался инициализироваться.
    И lvm на что то ругается:
    [ 24.773005] random: lvm: uninitialized urandom read (4 bytes read)
    [ 25.234544] random: crng init done

    Но я не могу понять, что ему не нравиться:(

    Так выглядит выдача:
    dmesg со всеми дисками (то есть когда массив активный)


    [ 4.408074] usb 2-1: new low-speed USB device number 2 using uhci_hcd
    [ 4.544083] ata1: SATA link up 3.0 Gbps (SStatus 123 SControl 300)
    [ 4.563948] ata1.00: ATA-8: WDC WD5000AADS-00S9B0, 01.00A01, max UDMA/133
    [ 4.563952] ata1.00: 976773168 sectors, multi 0: LBA48 NCQ (depth 0/32)
    [ 4.566725] ata1.00: configured for UDMA/133
    [ 4.566967] scsi 0:0:0:0: Direct-Access ATA WDC WD5000AADS-0 0A01 PQ: 0 ANSI: 5
    [ 4.585810] usb 2-1: New USB device found, idVendor=2101, idProduct=020f, bcdDevice= 0.01
    [ 4.585814] usb 2-1: New USB device strings: Mfr=0, Product=0, SerialNumber=0
    [ 4.626275] hidraw: raw HID events driver (C) Jiri Kosina
    [ 4.677974] usbcore: registered new interface driver usbhid
    [ 4.677977] usbhid: USB HID core driver
    [ 4.695042] input: HID 2101:020f as /devices/pci0000:00/0000:00:1d.1/usb2/2-1/2-1:1.0/0003:2101:020F.0001/input/input3
    [ 4.752480] hid-generic 0003:2101:020F.0001: input,hidraw0: USB HID v1.01 Keyboard [HID 2101:020f] on usb-0000:00:1d.1-1/input0
    [ 4.753723] input: HID 2101:020f as /devices/pci0000:00/0000:00:1d.1/usb2/2-1/2-1:1.1/0003:2101:020F.0002/input/input4
    [ 4.753931] hid-generic 0003:2101:020F.0002: input,hidraw1: USB HID v1.01 Mouse [HID 2101:020f] on usb-0000:00:1d.1-1/input1
    [ 5.040088] ata2: SATA link up 3.0 Gbps (SStatus 123 SControl 300)
    [ 5.455100] ata2.00: ATA-8: WDC WD5000AADS-00S9B0, 01.00A01, max UDMA/133
    [ 5.455103] ata2.00: 976773168 sectors, multi 0: LBA48 NCQ (depth 0/32)
    [ 5.499551] ata2.00: configured for UDMA/133
    [ 5.499797] scsi 2:0:0:0: Direct-Access ATA WDC WD5000AADS-0 0A01 PQ: 0 ANSI: 5
    [ 5.972082] ata3: SATA link up 3.0 Gbps (SStatus 123 SControl 300)
    [ 5.974699] ata3.00: ATA-10: WDC WD10EZEX-00WN4A0, 01.01A01, max UDMA/133
    [ 5.974702] ata3.00: 1953525168 sectors, multi 16: LBA48 NCQ (depth 0/32)
    [ 5.977432] ata3.00: configured for UDMA/133
    [ 5.977665] scsi 3:0:0:0: Direct-Access ATA WDC WD10EZEX-00W 1A01 PQ: 0 ANSI: 5
    [ 6.448085] ata4: SATA link up 3.0 Gbps (SStatus 123 SControl 300)
    [ 6.450712] ata4.00: ATA-10: WDC WD10EZEX-00WN4A0, 01.01A01, max UDMA/133
    [ 6.450716] ata4.00: 1953525168 sectors, multi 16: LBA48 NCQ (depth 0/32)
    [ 6.453452] ata4.00: configured for UDMA/133
    [ 6.453679] scsi 4:0:0:0: Direct-Access ATA WDC WD10EZEX-00W 1A01 PQ: 0 ANSI: 5
    [ 6.477829] sd 0:0:0:0: [sda] 976773168 512-byte logical blocks: (500 GB/466 GiB)
    [ 6.477853] sd 0:0:0:0: [sda] Write Protect is off
    [ 6.477859] sd 0:0:0:0: [sda] Mode Sense: 00 3a 00 00
    [ 6.477897] sd 0:0:0:0: [sda] Write cache: enabled, read cache: enabled, doesn't support DPO or FUA
    [ 6.479234] sd 2:0:0:0: [sdb] 976773168 512-byte logical blocks: (500 GB/466 GiB)
    [ 6.479262] sd 2:0:0:0: [sdb] Write Protect is off
    [ 6.479267] sd 2:0:0:0: [sdb] Mode Sense: 00 3a 00 00
    [ 6.479303] sd 2:0:0:0: [sdb] Write cache: enabled, read cache: enabled, doesn't support DPO or FUA
    [ 6.481016] sd 3:0:0:0: [sdc] 1953525168 512-byte logical blocks: (1.00 TB/932 GiB)
    [ 6.481023] sd 3:0:0:0: [sdc] 4096-byte physical blocks
    [ 6.481047] sd 3:0:0:0: [sdc] Write Protect is off
    [ 6.481052] sd 3:0:0:0: [sdc] Mode Sense: 00 3a 00 00
    [ 6.481086] sd 3:0:0:0: [sdc] Write cache: enabled, read cache: enabled, doesn't support DPO or FUA

    [ 6.481434] sd 4:0:0:0: [sdd] 1953525168 512-byte logical blocks: (1.00 TB/932 GiB)
    [ 6.481439] sd 4:0:0:0: [sdd] 4096-byte physical blocks
    [ 6.481460] sd 4:0:0:0: [sdd] Write Protect is off
    [ 6.481465] sd 4:0:0:0: [sdd] Mode Sense: 00 3a 00 00
    [ 6.481495] sd 4:0:0:0: [sdd] Write cache: enabled, read cache: enabled, doesn't support DPO or FUA
    [ 6.490717] sdb: sdb1
    [ 6.491743] sda: sda1
    [ 6.491792] sd 2:0:0:0: [sdb] Attached SCSI disk

    [ 6.492758] sd 0:0:0:0: [sda] Attached SCSI disk
    [ 6.497155] sdc: sdc1
    [ 6.498017] sd 3:0:0:0: [sdc] Attached SCSI disk

    [ 6.500945] sdd: sdd1
    [ 6.501926] sd 4:0:0:0: [sdd] Attached SCSI disk
    [ 6.666586] random: fast init done
    [ 6.731764] md/raid1:md0: active with 2 out of 2 mirrors

    [ 6.735693] md/raid1:md1: active with 2 out of 2 mirrors
    [ 6.777364] md0: detected capacity change from 0 to 498864226304
    [ 6.789093] md1: detected capacity change from 0 to 998864060416
    [ 19.396074] scsi host6: Adaptec AIC79XX PCI-X SCSI HBA DRIVER, Rev 3.0

    aic7901A: Ultra320 Wide Channel A, SCSI Id=7, PCI-X 67-100MHz, 512 SCBs
    [ 19.412183] scsi 6:0:0:0: Direct-Access SEAGATE ST373207LW 0005 PQ: 0 ANSI: 3
    [ 19.412197] scsi target6:0:0: asynchronous
    [ 19.412200] scsi6:A:0:0:
    [ 19.412202] Tagged Queuing enabled. Depth 32
    [ 19.436054] scsi target6:0:0: Beginning Domain Validation
    [ 19.439800] scsi target6:0:0: wide asynchronous
    [ 19.442609] scsi target6:0:0: FAST-160 WIDE SCSI 320.0 MB/s DT IU QAS RDSTRM WRFLOW PCOMP (6.25 ns, offset 63)
    [ 19.457827] scsi 6:0:0:0: Power-on or device reset occurred
    [ 19.461057] scsi target6:0:0: Ending Domain Validation
    [ 19.470597] scsi 6:0:1:0: Direct-Access SEAGATE ST373207LW 0005 PQ: 0 ANSI: 3
    [ 19.470611] scsi target6:0:1: asynchronous
    [ 19.470614] scsi6:A:1:0:
    [ 19.470616] Tagged Queuing enabled. Depth 32
    [ 19.488053] scsi target6:0:1: Beginning Domain Validation
    [ 19.491820] scsi target6:0:1: wide asynchronous
    [ 19.494654] scsi target6:0:1: FAST-160 WIDE SCSI 320.0 MB/s DT IU QAS RDSTRM WRFLOW PCOMP (6.25 ns, offset 63)
    [ 19.509848] scsi 6:0:1:0: Power-on or device reset occurred
    [ 19.513180] scsi target6:0:1: Ending Domain Validation
    [ 22.886009] sd 6:0:0:0: [sde] 143374744 512-byte logical blocks: (73.4 GB/68.4 GiB)
    [ 22.886110] sd 6:0:1:0: [sdf] 143374744 512-byte logical blocks: (73.4 GB/68.4 GiB)
    [ 22.887459] sd 6:0:0:0: [sde] Write Protect is off
    [ 22.887463] sd 6:0:0:0: [sde] Mode Sense: ab 00 10 08
    [ 22.887516] sd 6:0:1:0: [sdf] Write Protect is off
    [ 22.887520] sd 6:0:1:0: [sdf] Mode Sense: ab 00 10 08
    [ 22.889290] sd 6:0:0:0: [sde] Write cache: disabled, read cache: enabled, supports DPO and FUA
    [ 22.889349] sd 6:0:1:0: [sdf] Write cache: enabled, read cache: enabled, supports DPO and FUA

    [ 22.897399] random: crng init done
    [ 22.897478] sdf: sdf1
    [ 22.902462] sd 6:0:1:0: [sdf] Attached SCSI disk
    [ 22.904255] sde: sde1
    [ 22.909179] sd 6:0:0:0: [sde] Attached SCSI disk
    [ 23.117350] md2: detected capacity change from 0 to 146676908032
    [ 23.328064] raid6: mmxx1 gen() 1989 MB/s
    [ 23.396059] raid6: mmxx2 gen() 2523 MB/s
    [ 23.464082] raid6: sse1x1 gen() 1283 MB/s
    [ 23.532071] raid6: sse1x2 gen() 1770 MB/s
    [ 23.600076] raid6: sse2x1 gen() 2106 MB/s
    [ 23.668065] raid6: sse2x1 xor() 1579 MB/s
    [ 23.736064] raid6: sse2x2 gen() 2622 MB/s
    [ 23.804050] raid6: sse2x2 xor() 1581 MB/s
    [ 23.804052] raid6: using algorithm sse2x2 gen() 2622 MB/s
    [ 23.804054] raid6: .... xor() 1581 MB/s, rmw enabled
    [ 23.804056] raid6: using intx1 recovery algorithm
    [ 23.808471] xor: measuring software checksum speed
    [ 23.848050] pIII_sse : 3430.000 MB/sec
    [ 23.888048] prefetch64-sse: 4414.000 MB/sec
    [ 23.888052] xor: using function: prefetch64-sse (4414.000 MB/sec)
    [ 23.891579] async_tx: api initialized (async)

    [ 24.095808] device-mapper: uevent: version 1.0.3
    [ 24.096210] device-mapper: ioctl: 4.39.0-ioctl (2018-04-03) initialised: dm-devel@redhat.com
    [ 28.366681] PM: Image not found (code -22)
    [ 28.702158] cryptd: max_cpu_qlen set to 1000
    [ 29.001577] EXT4-fs (dm-1): mounted filesystem with ordered data mode. Opts: (null)
    [ 30.614061] systemd[1]: Inserted module 'autofs4'
    [ 30.721040] systemd[1]: systemd 241 running in system mode. (+PAM +AUDIT +SELINUX +IMA +APPARMOR +SMACK +SYSVINIT +UTMP +LIBCRYPTSETUP +GCRYPT +GNUTLS +ACL +XZ +LZ4 +SECCOMP +BLKID +ELFUTILS +KMOD -IDN2 +IDN -PCRE2 default-hierarchy=hybrid)
    [ 30.721434] systemd[1]: Detected architecture x86.
    [ 30.734835] systemd[1]: Set hostname to .
    [ 31.760262] systemd[1]: Listening on Device-mapper event daemon FIFOs.

    [ 31.760543] systemd[1]: Reached target Remote File Systems.
    [ 31.760778] systemd[1]: Listening on initctl Compatibility Named Pipe.
    [ 31.761284] systemd[1]: Listening on Journal Socket (/dev/log).
    [ 31.761795] systemd[1]: Listening on Journal Socket.
    [ 31.766952] systemd[1]: Starting Availability of block devices...
    [ 31.767723] systemd[1]: Listening on Syslog Socket.
    [ 32.147587] EXT4-fs (dm-1): re-mounted. Opts: errors=remount-ro
    [ 32.643950] systemd-journald[281]: Received request to flush runtime journal from PID 1

  • По какой причине RAID1 при удалении одного из дисков блокируется?

    @anton13ms Автор вопроса
    Пытаюсь на все ответить...
    Дело в том, что я не знаю где dmesg находиться:(
    С sdd1, согласен, косяк вышел:(
    Дело, в том, что в момент когда я снимал логи, я как раз подключил пустой диск в место диска из массива (в результате экспериментов).
    То есть с подключенными, всеми жесткими дисками и нормально работающими массивами, это выглядит так:
    cat /proc/mdstat

    Personalities : [raid1] [raid0] [linear] [multipath] [raid6] [raid5] [raid4] [raid10]
    md2 : active raid0 sdf1[1] sde1[0]
    143239168 blocks super 1.2 512k chunks

    md1 : active raid1 sdc1[0] sdd1[1]
    975453184 blocks super 1.2 [2/2] [UU]
    bitmap: 0/8 pages [0KB], 65536KB chunk

    md0 : active raid1 sdb1[1] sda1[2]
    487172096 blocks super 1.2 [2/2] [UU]
    bitmap: 0/4 pages [0KB], 65536KB chunk

    unused devices:


    mdadm -D /dev/md1

    /dev/md1:
    Version : 1.2
    Creation Time : Wed Feb 5 13:35:42 2020
    Raid Level : raid1
    Array Size : 975453184 (930.26 GiB 998.86 GB)
    Used Dev Size : 975453184 (930.26 GiB 998.86 GB)
    Raid Devices : 2
    Total Devices : 2
    Persistence : Superblock is persistent

    Intent Bitmap : Internal

    Update Time : Tue Feb 11 11:09:55 2020
    State : clean
    Active Devices : 2
    Working Devices : 2
    Failed Devices : 0
    Spare Devices : 0

    Consistency Policy : bitmap

    Name : phoenix:1 (local to host phoenix)
    UUID : 8677539e:70f9cc03:a26ae668:c9424e90
    Events : 20131

    Number Major Minor RaidDevice State
    0 8 33 0 active sync /dev/sdc1
    1 8 49 1 active sync /dev/sdd1

    mdadm -E /dev/sdc1

    /dev/sdc1:
    Magic : a92b4efc
    Version : 1.2
    Feature Map : 0x1
    Array UUID : 8677539e:70f9cc03:a26ae668:c9424e90
    Name : phoenix:1 (local to host phoenix)
    Creation Time : Wed Feb 5 13:35:42 2020
    Raid Level : raid1
    Raid Devices : 2

    Avail Dev Size : 1950906368 (930.26 GiB 998.86 GB)
    Array Size : 975453184 (930.26 GiB 998.86 GB)
    Data Offset : 264192 sectors
    Super Offset : 8 sectors
    Unused Space : before=264112 sectors, after=0 sectors
    State : clean
    Device UUID : 23b93f64:cd000034:99e6f05c:ba8bb104

    Internal Bitmap : 8 sectors from superblock
    Update Time : Tue Feb 11 11:09:55 2020
    Bad Block Log : 512 entries available at offset 16 sectors
    Checksum : 8365060d - correct
    Events : 20131

    Device Role : Active device 0
    Array State : AA ('A' == active, '.' == missing, 'R' == replacing)

    mdadm -E /dev/sdd1

    /dev/sdd1:
    Magic : a92b4efc
    Version : 1.2
    Feature Map : 0x1
    Array UUID : 8677539e:70f9cc03:a26ae668:c9424e90
    Name : phoenix:1 (local to host phoenix)
    Creation Time : Wed Feb 5 13:35:42 2020
    Raid Level : raid1
    Raid Devices : 2

    Avail Dev Size : 1950906368 (930.26 GiB 998.86 GB)
    Array Size : 975453184 (930.26 GiB 998.86 GB)
    Data Offset : 264192 sectors
    Super Offset : 8 sectors
    Unused Space : before=264112 sectors, after=0 sectors
    State : clean
    Device UUID : b49f0cc2:1b8093e0:48286442:fa57aca9

    Internal Bitmap : 8 sectors from superblock
    Update Time : Tue Feb 11 11:09:55 2020
    Bad Block Log : 512 entries available at offset 16 sectors
    Checksum : 183379de - correct
    Events : 20131

    Device Role : Active device 1
    Array State : AA ('A' == active, '.' == missing, 'R' == replacing)

    cat /etc/mdadm/mdadm.conf

    # mdadm.conf
    #
    # !NB! Run update-initramfs -u after updating this file.
    # !NB! This will ensure that initramfs has an uptodate copy.
    #
    # Please refer to mdadm.conf(5) for information about this file.
    #

    # by default (built-in), scan all partitions (/proc/partitions) and all
    # containers for MD superblocks. alternatively, specify devices to scan, using
    # wildcards if desired.
    #DEVICE partitions containers

    # automatically tag new arrays as belonging to the local system
    HOMEHOST

    # instruct the monitoring daemon where to send mail alerts
    MAILADDR root

    # definitions of existing MD arrays
    ARRAY /dev/md/0 metadata=1.2 UUID=29066ab9:48bffd4b:ec21b29b:4e332b1e name=phoenix:0
    ARRAY /dev/md/1 metadata=1.2 UUID=8677539e:70f9cc03:a26ae668:c9424e90 name=phoenix:1
    ARRAY /dev/md/2 metadata=1.2 UUID=2d47cdca:3461f154:1dbbbf57:a44ca46c name=phoenix:2

    # This configuration was auto-generated on Wed, 05 Feb 2020 13:53:10 +0900 by mkconf
  • По какой причине RAID1 при удалении одного из дисков блокируется?

    @anton13ms Автор вопроса
    Melkij,
    mdadm -D /dev/md1
    5e4139d17b5f1283494585.jpeg

    mdadm -E /dev/sdc1
    5e413a245bf84812155613.jpeg
    5e413a2e9dfa2549190342.jpeg

    mdadm -E /dev/sdd1
    5e413a567d40f193076064.jpeg

    cat /etc/mdadm/mdadm.conf
    5e413a9a28fad051979649.jpeg
    5e413aa1277fd764078098.jpeg
  • По какой причине RAID1 при удалении одного из дисков блокируется?

    @anton13ms Автор вопроса
    hint000, Да, я перед подобными изменениями всегда контролирую, когда mdstat устаканиться и только потом провожу манипуляции...
    Попробую логи проанализировать...
  • По какой причине RAID1 при удалении одного из дисков блокируется?

    @anton13ms Автор вопроса
    hint000, После создания, я следил за ним через mdstat или как понять тогда, синхронизировался ли он или нет?
    Или теперь необходимо установить оба диска и заставить его заново синхронизироваться?
  • По какой причине RAID1 при удалении одного из дисков блокируется?

    @anton13ms Автор вопроса
    Рональд Макдональд, Значит правильно сделал:( Значит причина в другом:(
  • По какой причине RAID1 при удалении одного из дисков блокируется?

    @anton13ms Автор вопроса
    Я имел ввиду, перед тем как создавать массив... Разве не нужно на еще чистом жестком диске проводить удаление суперблоков?
  • По какой причине RAID1 при удалении одного из дисков блокируется?

    @anton13ms Автор вопроса
    Когда первый раз такое случилось.
    Я так и подумал, что проблема связана с тем что mdadm посчитал, что данных в массиве нет.
    На тот момент, данных в массиве действительно не было:(
    Я взял и записал в раздел массива 2.5 гигабайта данных, затем отключил сервер, выдернул один из дисков массива, запустил сервер и в результате массив стал неактивным:(
    Состояние до отключения диска:
    5e410c8cbd5d7469219615.jpeg
    Состояние после отключения диска:
    5e410caa47963015229946.jpeg
    5e410cb24e02f153841917.jpeg
  • По какой причине RAID1 при удалении одного из дисков блокируется?

    @anton13ms Автор вопроса
    jcmvbkbc, Хорошо, не правильно задал вопрос:(
    Почему он блокируется (то есть становиться неактивным)?
  • Почему возникает ошибка "not large enough to join array", при попытки подключить диск к массиву mdadm?

    @anton13ms Автор вопроса
    Если бы вы предвидели, что такая ситуация может случиться, то сделали бы раздел поменьше, не сильно, например, 455GB вместо 465GB

    То есть в принципе, то же что я и написал выше.
    Оставить немного пространства (скажем 5 гигов), не размеченным на диске и не забирать его ни в RAID ни в LVM?