По какой причине RAID1 при удалении одного из дисков блокируется?

Question

[anton13ms]

Почему при удалении (отключении) одного из двух дисков массива RAID 1, массив переходит в статус "blocks super":


Возможно, это происходит потому, что изначально, перед созданием массива, я не удалил суперблоки на дисках?

Comments

[jcmvbkbc]

Почему при удалении(отключении) одного из двух дисков массива RAID 1, массив переходит в статус "blocks super":

Он не переходит в такое состояние. Сообщение говорит, что на md1 975453184 блоков, а суперблок имеет версию 1.2.

[anton13ms]

jcmvbkbc, Хорошо, не правильно задал вопрос:(
Почему он блокируется (то есть становиться неактивным)?

Answer 1

[Melkij]

Речь видимо о linux raid и конкретно выводе /proc/mdstat

Литера S в sdc1[0] (S) - обозначает spare диск, а не диск массива. То есть у вас в массиве md1 нет ни одного диска с данными. Необратимая потеря существовавщих данных, некуда писать новые. Потому массив переведён в статус неактивен, он бесполезен и требует вмешательства администратора.

Откуда в raid1 мог остаться единственный spare - например не успели синхронизировать данные.

Comments

[anton13ms]

Когда первый раз такое случилось.
Я так и подумал, что проблема связана с тем что mdadm посчитал, что данных в массиве нет.
На тот момент, данных в массиве действительно не было:(
Я взял и записал в раздел массива 2.5 гигабайта данных, затем отключил сервер, выдернул один из дисков массива, запустил сервер и в результате массив стал неактивным:(
Состояние до отключения диска:

Состояние после отключения диска:

[Melkij]

Посмотрите в dmesg что ядро про массивы писало.

[anton13ms]

hint000, После создания, я следил за ним через mdstat или как понять тогда, синхронизировался ли он или нет?
Или теперь необходимо установить оба диска и заставить его заново синхронизироваться?

[Melkij]

mdadm -D /dev/md1
mdadm -E /dev/sdc1
mdadm -E /dev/sdd1
cat /etc/mdadm/mdadm.conf
плюс описание что конкретно вы делаете и с чем (виртуалка? физическая железка?)

[anton13ms]

hint000, Да, я перед подобными изменениями всегда контролирую, когда mdstat устаканиться и только потом провожу манипуляции...
Попробую логи проанализировать...

[anton13ms]

Melkij,

mdadm -D /dev/md1

mdadm -E /dev/sdc1

mdadm -E /dev/sdd1

cat /etc/mdadm/mdadm.conf

[Melkij]

anton13ms, а вы так и будете отвечать только на часть вопросов?
явно что-то странное делаете с суперблоком. Либо неисправны диски. Куда суперблок с sdd1 делся?

[anton13ms]

Пытаюсь на все ответить...
Дело в том, что я не знаю где dmesg находиться:(
С sdd1, согласен, косяк вышел:(
Дело, в том, что в момент когда я снимал логи, я как раз подключил пустой диск в место диска из массива (в результате экспериментов).
То есть с подключенными, всеми жесткими дисками и нормально работающими массивами, это выглядит так:

cat /proc/mdstat

Personalities : [raid1] [raid0] [linear] [multipath] [raid6] [raid5] [raid4] [raid10]
md2 : active raid0 sdf1[1] sde1[0]
143239168 blocks super 1.2 512k chunks

md1 : active raid1 sdc1[0] sdd1[1]
975453184 blocks super 1.2 [2/2] [UU]
bitmap: 0/8 pages [0KB], 65536KB chunk

md0 : active raid1 sdb1[1] sda1[2]
487172096 blocks super 1.2 [2/2] [UU]
bitmap: 0/4 pages [0KB], 65536KB chunk

unused devices:

mdadm -D /dev/md1

/dev/md1:
Version : 1.2
Creation Time : Wed Feb 5 13:35:42 2020
Raid Level : raid1
Array Size : 975453184 (930.26 GiB 998.86 GB)
Used Dev Size : 975453184 (930.26 GiB 998.86 GB)
Raid Devices : 2
Total Devices : 2
Persistence : Superblock is persistent

Intent Bitmap : Internal

Update Time : Tue Feb 11 11:09:55 2020
State : clean
Active Devices : 2
Working Devices : 2
Failed Devices : 0
Spare Devices : 0

Consistency Policy : bitmap

Name : phoenix:1 (local to host phoenix)
UUID : 8677539e:70f9cc03:a26ae668:c9424e90
Events : 20131

Number Major Minor RaidDevice State
0 8 33 0 active sync /dev/sdc1
1 8 49 1 active sync /dev/sdd1

mdadm -E /dev/sdc1

/dev/sdc1:
Magic : a92b4efc
Version : 1.2
Feature Map : 0x1
Array UUID : 8677539e:70f9cc03:a26ae668:c9424e90
Name : phoenix:1 (local to host phoenix)
Creation Time : Wed Feb 5 13:35:42 2020
Raid Level : raid1
Raid Devices : 2

Avail Dev Size : 1950906368 (930.26 GiB 998.86 GB)
Array Size : 975453184 (930.26 GiB 998.86 GB)
Data Offset : 264192 sectors
Super Offset : 8 sectors
Unused Space : before=264112 sectors, after=0 sectors
State : clean
Device UUID : 23b93f64:cd000034:99e6f05c:ba8bb104

Internal Bitmap : 8 sectors from superblock
Update Time : Tue Feb 11 11:09:55 2020
Bad Block Log : 512 entries available at offset 16 sectors
Checksum : 8365060d - correct
Events : 20131

Device Role : Active device 0
Array State : AA ('A' == active, '.' == missing, 'R' == replacing)

mdadm -E /dev/sdd1

/dev/sdd1:
Magic : a92b4efc
Version : 1.2
Feature Map : 0x1
Array UUID : 8677539e:70f9cc03:a26ae668:c9424e90
Name : phoenix:1 (local to host phoenix)
Creation Time : Wed Feb 5 13:35:42 2020
Raid Level : raid1
Raid Devices : 2

Avail Dev Size : 1950906368 (930.26 GiB 998.86 GB)
Array Size : 975453184 (930.26 GiB 998.86 GB)
Data Offset : 264192 sectors
Super Offset : 8 sectors
Unused Space : before=264112 sectors, after=0 sectors
State : clean
Device UUID : b49f0cc2:1b8093e0:48286442:fa57aca9

Internal Bitmap : 8 sectors from superblock
Update Time : Tue Feb 11 11:09:55 2020
Bad Block Log : 512 entries available at offset 16 sectors
Checksum : 183379de - correct
Events : 20131

Device Role : Active device 1
Array State : AA ('A' == active, '.' == missing, 'R' == replacing)

cat /etc/mdadm/mdadm.conf

# mdadm.conf
#
# !NB! Run update-initramfs -u after updating this file.
# !NB! This will ensure that initramfs has an uptodate copy.
#
# Please refer to mdadm.conf(5) for information about this file.
#

# by default (built-in), scan all partitions (/proc/partitions) and all
# containers for MD superblocks. alternatively, specify devices to scan, using
# wildcards if desired.
#DEVICE partitions containers

# automatically tag new arrays as belonging to the local system
HOMEHOST

# instruct the monitoring daemon where to send mail alerts
MAILADDR root

# definitions of existing MD arrays
ARRAY /dev/md/0 metadata=1.2 UUID=29066ab9:48bffd4b:ec21b29b:4e332b1e name=phoenix:0
ARRAY /dev/md/1 metadata=1.2 UUID=8677539e:70f9cc03:a26ae668:c9424e90 name=phoenix:1
ARRAY /dev/md/2 metadata=1.2 UUID=2d47cdca:3461f154:1dbbbf57:a44ca46c name=phoenix:2

# This configuration was auto-generated on Wed, 05 Feb 2020 13:53:10 +0900 by mkconf

[Melkij]

Дело в том, что я не знаю где dmesg находиться:(

Это команда консольная.

[anton13ms]

Melkij,
В dmesg, какого либо кременала не увидел, ну понятно, кроме того, что массив md1 не пытался инициализироваться.
И lvm на что то ругается:
[ 24.773005] random: lvm: uninitialized urandom read (4 bytes read)
[ 25.234544] random: crng init done

Но я не могу понять, что ему не нравиться:(

Так выглядит выдача:

dmesg со всеми дисками (то есть когда массив активный)

[ 4.408074] usb 2-1: new low-speed USB device number 2 using uhci_hcd
[ 4.544083] ata1: SATA link up 3.0 Gbps (SStatus 123 SControl 300)
[ 4.563948] ata1.00: ATA-8: WDC WD5000AADS-00S9B0, 01.00A01, max UDMA/133
[ 4.563952] ata1.00: 976773168 sectors, multi 0: LBA48 NCQ (depth 0/32)
[ 4.566725] ata1.00: configured for UDMA/133
[ 4.566967] scsi 0:0:0:0: Direct-Access ATA WDC WD5000AADS-0 0A01 PQ: 0 ANSI: 5
[ 4.585810] usb 2-1: New USB device found, idVendor=2101, idProduct=020f, bcdDevice= 0.01
[ 4.585814] usb 2-1: New USB device strings: Mfr=0, Product=0, SerialNumber=0
[ 4.626275] hidraw: raw HID events driver (C) Jiri Kosina
[ 4.677974] usbcore: registered new interface driver usbhid
[ 4.677977] usbhid: USB HID core driver
[ 4.695042] input: HID 2101:020f as /devices/pci0000:00/0000:00:1d.1/usb2/2-1/2-1:1.0/0003:2101:020F.0001/input/input3
[ 4.752480] hid-generic 0003:2101:020F.0001: input,hidraw0: USB HID v1.01 Keyboard [HID 2101:020f] on usb-0000:00:1d.1-1/input0
[ 4.753723] input: HID 2101:020f as /devices/pci0000:00/0000:00:1d.1/usb2/2-1/2-1:1.1/0003:2101:020F.0002/input/input4
[ 4.753931] hid-generic 0003:2101:020F.0002: input,hidraw1: USB HID v1.01 Mouse [HID 2101:020f] on usb-0000:00:1d.1-1/input1
[ 5.040088] ata2: SATA link up 3.0 Gbps (SStatus 123 SControl 300)
[ 5.455100] ata2.00: ATA-8: WDC WD5000AADS-00S9B0, 01.00A01, max UDMA/133
[ 5.455103] ata2.00: 976773168 sectors, multi 0: LBA48 NCQ (depth 0/32)
[ 5.499551] ata2.00: configured for UDMA/133
[ 5.499797] scsi 2:0:0:0: Direct-Access ATA WDC WD5000AADS-0 0A01 PQ: 0 ANSI: 5
[ 5.972082] ata3: SATA link up 3.0 Gbps (SStatus 123 SControl 300)
[ 5.974699] ata3.00: ATA-10: WDC WD10EZEX-00WN4A0, 01.01A01, max UDMA/133
[ 5.974702] ata3.00: 1953525168 sectors, multi 16: LBA48 NCQ (depth 0/32)
[ 5.977432] ata3.00: configured for UDMA/133
[ 5.977665] scsi 3:0:0:0: Direct-Access ATA WDC WD10EZEX-00W 1A01 PQ: 0 ANSI: 5
[ 6.448085] ata4: SATA link up 3.0 Gbps (SStatus 123 SControl 300)
[ 6.450712] ata4.00: ATA-10: WDC WD10EZEX-00WN4A0, 01.01A01, max UDMA/133
[ 6.450716] ata4.00: 1953525168 sectors, multi 16: LBA48 NCQ (depth 0/32)
[ 6.453452] ata4.00: configured for UDMA/133
[ 6.453679] scsi 4:0:0:0: Direct-Access ATA WDC WD10EZEX-00W 1A01 PQ: 0 ANSI: 5
[ 6.477829] sd 0:0:0:0: [sda] 976773168 512-byte logical blocks: (500 GB/466 GiB)
[ 6.477853] sd 0:0:0:0: [sda] Write Protect is off
[ 6.477859] sd 0:0:0:0: [sda] Mode Sense: 00 3a 00 00
[ 6.477897] sd 0:0:0:0: [sda] Write cache: enabled, read cache: enabled, doesn't support DPO or FUA
[ 6.479234] sd 2:0:0:0: [sdb] 976773168 512-byte logical blocks: (500 GB/466 GiB)
[ 6.479262] sd 2:0:0:0: [sdb] Write Protect is off
[ 6.479267] sd 2:0:0:0: [sdb] Mode Sense: 00 3a 00 00
[ 6.479303] sd 2:0:0:0: [sdb] Write cache: enabled, read cache: enabled, doesn't support DPO or FUA
[ 6.481016] sd 3:0:0:0: [sdc] 1953525168 512-byte logical blocks: (1.00 TB/932 GiB)
[ 6.481023] sd 3:0:0:0: [sdc] 4096-byte physical blocks
[ 6.481047] sd 3:0:0:0: [sdc] Write Protect is off
[ 6.481052] sd 3:0:0:0: [sdc] Mode Sense: 00 3a 00 00
[ 6.481086] sd 3:0:0:0: [sdc] Write cache: enabled, read cache: enabled, doesn't support DPO or FUA

[ 6.481434] sd 4:0:0:0: [sdd] 1953525168 512-byte logical blocks: (1.00 TB/932 GiB)
[ 6.481439] sd 4:0:0:0: [sdd] 4096-byte physical blocks
[ 6.481460] sd 4:0:0:0: [sdd] Write Protect is off
[ 6.481465] sd 4:0:0:0: [sdd] Mode Sense: 00 3a 00 00
[ 6.481495] sd 4:0:0:0: [sdd] Write cache: enabled, read cache: enabled, doesn't support DPO or FUA
[ 6.490717] sdb: sdb1
[ 6.491743] sda: sda1
[ 6.491792] sd 2:0:0:0: [sdb] Attached SCSI disk

[ 6.492758] sd 0:0:0:0: [sda] Attached SCSI disk
[ 6.497155] sdc: sdc1
[ 6.498017] sd 3:0:0:0: [sdc] Attached SCSI disk

[ 6.500945] sdd: sdd1
[ 6.501926] sd 4:0:0:0: [sdd] Attached SCSI disk
[ 6.666586] random: fast init done
[ 6.731764] md/raid1:md0: active with 2 out of 2 mirrors

[ 6.735693] md/raid1:md1: active with 2 out of 2 mirrors
[ 6.777364] md0: detected capacity change from 0 to 498864226304
[ 6.789093] md1: detected capacity change from 0 to 998864060416
[ 19.396074] scsi host6: Adaptec AIC79XX PCI-X SCSI HBA DRIVER, Rev 3.0

aic7901A: Ultra320 Wide Channel A, SCSI Id=7, PCI-X 67-100MHz, 512 SCBs
[ 19.412183] scsi 6:0:0:0: Direct-Access SEAGATE ST373207LW 0005 PQ: 0 ANSI: 3
[ 19.412197] scsi target6:0:0: asynchronous
[ 19.412200] scsi6:A:0:0:
[ 19.412202] Tagged Queuing enabled. Depth 32
[ 19.436054] scsi target6:0:0: Beginning Domain Validation
[ 19.439800] scsi target6:0:0: wide asynchronous
[ 19.442609] scsi target6:0:0: FAST-160 WIDE SCSI 320.0 MB/s DT IU QAS RDSTRM WRFLOW PCOMP (6.25 ns, offset 63)
[ 19.457827] scsi 6:0:0:0: Power-on or device reset occurred
[ 19.461057] scsi target6:0:0: Ending Domain Validation
[ 19.470597] scsi 6:0:1:0: Direct-Access SEAGATE ST373207LW 0005 PQ: 0 ANSI: 3
[ 19.470611] scsi target6:0:1: asynchronous
[ 19.470614] scsi6:A:1:0:
[ 19.470616] Tagged Queuing enabled. Depth 32
[ 19.488053] scsi target6:0:1: Beginning Domain Validation
[ 19.491820] scsi target6:0:1: wide asynchronous
[ 19.494654] scsi target6:0:1: FAST-160 WIDE SCSI 320.0 MB/s DT IU QAS RDSTRM WRFLOW PCOMP (6.25 ns, offset 63)
[ 19.509848] scsi 6:0:1:0: Power-on or device reset occurred
[ 19.513180] scsi target6:0:1: Ending Domain Validation
[ 22.886009] sd 6:0:0:0: [sde] 143374744 512-byte logical blocks: (73.4 GB/68.4 GiB)
[ 22.886110] sd 6:0:1:0: [sdf] 143374744 512-byte logical blocks: (73.4 GB/68.4 GiB)
[ 22.887459] sd 6:0:0:0: [sde] Write Protect is off
[ 22.887463] sd 6:0:0:0: [sde] Mode Sense: ab 00 10 08
[ 22.887516] sd 6:0:1:0: [sdf] Write Protect is off
[ 22.887520] sd 6:0:1:0: [sdf] Mode Sense: ab 00 10 08
[ 22.889290] sd 6:0:0:0: [sde] Write cache: disabled, read cache: enabled, supports DPO and FUA
[ 22.889349] sd 6:0:1:0: [sdf] Write cache: enabled, read cache: enabled, supports DPO and FUA

[ 22.897399] random: crng init done
[ 22.897478] sdf: sdf1
[ 22.902462] sd 6:0:1:0: [sdf] Attached SCSI disk
[ 22.904255] sde: sde1
[ 22.909179] sd 6:0:0:0: [sde] Attached SCSI disk
[ 23.117350] md2: detected capacity change from 0 to 146676908032
[ 23.328064] raid6: mmxx1 gen() 1989 MB/s
[ 23.396059] raid6: mmxx2 gen() 2523 MB/s
[ 23.464082] raid6: sse1x1 gen() 1283 MB/s
[ 23.532071] raid6: sse1x2 gen() 1770 MB/s
[ 23.600076] raid6: sse2x1 gen() 2106 MB/s
[ 23.668065] raid6: sse2x1 xor() 1579 MB/s
[ 23.736064] raid6: sse2x2 gen() 2622 MB/s
[ 23.804050] raid6: sse2x2 xor() 1581 MB/s
[ 23.804052] raid6: using algorithm sse2x2 gen() 2622 MB/s
[ 23.804054] raid6: .... xor() 1581 MB/s, rmw enabled
[ 23.804056] raid6: using intx1 recovery algorithm
[ 23.808471] xor: measuring software checksum speed
[ 23.848050] pIII_sse : 3430.000 MB/sec
[ 23.888048] prefetch64-sse: 4414.000 MB/sec
[ 23.888052] xor: using function: prefetch64-sse (4414.000 MB/sec)
[ 23.891579] async_tx: api initialized (async)

[ 24.095808] device-mapper: uevent: version 1.0.3
[ 24.096210] device-mapper: ioctl: 4.39.0-ioctl (2018-04-03) initialised: [e-mail]
[ 28.366681] PM: Image not found (code -22)
[ 28.702158] cryptd: max_cpu_qlen set to 1000
[ 29.001577] EXT4-fs (dm-1): mounted filesystem with ordered data mode. Opts: (null)
[ 30.614061] systemd[1]: Inserted module 'autofs4'
[ 30.721040] systemd[1]: systemd 241 running in system mode. (+PAM +AUDIT +SELINUX +IMA +APPARMOR +SMACK +SYSVINIT +UTMP +LIBCRYPTSETUP +GCRYPT +GNUTLS +ACL +XZ +LZ4 +SECCOMP +BLKID +ELFUTILS +KMOD -IDN2 +IDN -PCRE2 default-hierarchy=hybrid)
[ 30.721434] systemd[1]: Detected architecture x86.
[ 30.734835] systemd[1]: Set hostname to .
[ 31.760262] systemd[1]: Listening on Device-mapper event daemon FIFOs.

[ 31.760543] systemd[1]: Reached target Remote File Systems.
[ 31.760778] systemd[1]: Listening on initctl Compatibility Named Pipe.
[ 31.761284] systemd[1]: Listening on Journal Socket (/dev/log).
[ 31.761795] systemd[1]: Listening on Journal Socket.
[ 31.766952] systemd[1]: Starting Availability of block devices...
[ 31.767723] systemd[1]: Listening on Syslog Socket.
[ 32.147587] EXT4-fs (dm-1): re-mounted. Opts: errors=remount-ro
[ 32.643950] systemd-journald[281]: Received request to flush runtime journal from PID 1

[anton13ms]

dmesg с одним из дисков массива (то есть когда массив не активный)

[ 4.838039] sata_promise 0000:01:09.0: version 2.12
[ 4.864102] ata_piix 0000:00:1f.1: version 2.13
[ 4.864121] ata_piix 0000:00:1f.1: enabling device (0005 -> 0007)
[ 4.866169] scsi host1: ata_piix
[ 4.866556] scsi host2: ata_piix
[ 4.866709] ata5: PATA max UDMA/100 cmd 0x1f0 ctl 0x3f6 bmdma 0x3a0 irq 14
[ 4.866713] ata6: PATA max UDMA/100 cmd 0x170 ctl 0x376 bmdma 0x3a8 irq 15
[ 4.868324] scsi host0: sata_promise
[ 4.868686] scsi host3: sata_promise
[ 4.869065] scsi host4: sata_promise
[ 4.869348] scsi host5: sata_promise
[ 4.869500] ata1: SATA max UDMA/133 mmio m4096@0xfe8f0000 ata 0xfe8f0380 irq 18
[ 4.869504] ata2: SATA max UDMA/133 mmio m4096@0xfe8f0000 ata 0xfe8f0280 irq 18
[ 4.869508] ata3: SATA max UDMA/133 mmio m4096@0xfe8f0000 ata 0xfe8f0200 irq 18
[ 4.869512] ata4: SATA max UDMA/133 mmio m4096@0xfe8f0000 ata 0xfe8f0300 irq 18

[ 4.900375] e100 0000:01:03.0 eth0: addr 0xfe7e0000, irq 20, MAC addr 00:07:e9:3f:b3:b2
[ 4.906542] e100 0000:01:03.0 enp1s3: renamed from eth0
[ 5.128795] usb 2-1: new low-speed USB device number 2 using uhci_hcd
[ 5.214709] e1000 0000:01:04.0 eth0: (PCI:33MHz:32-bit) 00:07:e9:3f:b3:b3
[ 5.214724] e1000 0000:01:04.0 eth0: Intel(R) PRO/1000 Network Connection
[ 5.218140] e1000 0000:01:04.0 enp1s4: renamed from eth0
[ 5.306517] usb 2-1: New USB device found, idVendor=2101, idProduct=020f, bcdDevice= 0.01
[ 5.306522] usb 2-1: New USB device strings: Mfr=0, Product=0, SerialNumber=0
[ 5.322367] hidraw: raw HID events driver (C) Jiri Kosina

[ 5.340839] ata1: SATA link up 3.0 Gbps (SStatus 123 SControl 300)
[ 5.354160] ata1.00: ATA-8: WDC WD5000AADS-00S9B0, 01.00A01, max UDMA/133
[ 5.354164] ata1.00: 976773168 sectors, multi 0: LBA48 NCQ (depth 0/32)
[ 5.356962] ata1.00: configured for UDMA/133
[ 5.357210] scsi 0:0:0:0: Direct-Access ATA WDC WD5000AADS-0 0A01 PQ: 0 ANSI: 5

[ 5.362815] usbcore: registered new interface driver usbhid
[ 5.362818] usbhid: USB HID core driver
[ 5.371955] input: HID 2101:020f as /devices/pci0000:00/0000:00:1d.1/usb2/2-1/2-1:1.0/0003:2101:020F.0001/input/input3
[ 5.429225] hid-generic 0003:2101:020F.0001: input,hidraw0: USB HID v1.01 Keyboard [HID 2101:020f] on usb-0000:00:1d.1-1/input0
[ 5.430571] input: HID 2101:020f as /devices/pci0000:00/0000:00:1d.1/usb2/2-1/2-1:1.1/0003:2101:020F.0002/input/input4
[ 5.430797] hid-generic 0003:2101:020F.0002: input,hidraw1: USB HID v1.01 Mouse [HID 2101:020f] on usb-0000:00:1d.1-1/input1
[ 5.828813] ata2: SATA link up 3.0 Gbps (SStatus 123 SControl 300)
[ 5.847630] ata2.00: ATA-8: WDC WD5000AADS-00S9B0, 01.00A01, max UDMA/133
[ 5.847634] ata2.00: 976773168 sectors, multi 0: LBA48 NCQ (depth 0/32)
[ 5.850406] ata2.00: configured for UDMA/133
[ 5.850636] scsi 3:0:0:0: Direct-Access ATA WDC WD5000AADS-0 0A01 PQ: 0 ANSI: 5
[ 6.320809] ata3: SATA link up 3.0 Gbps (SStatus 123 SControl 300)
[ 6.323438] ata3.00: ATA-10: WDC WD10EZEX-00WN4A0, 01.01A01, max UDMA/133
[ 6.323441] ata3.00: 1953525168 sectors, multi 16: LBA48 NCQ (depth 0/32)
[ 6.326189] ata3.00: configured for UDMA/133
[ 6.326445] scsi 4:0:0:0: Direct-Access ATA WDC WD10EZEX-00W 1A01 PQ: 0 ANSI: 5
[ 6.639040] ata4: SATA link down (SStatus 0 SControl 300)

[ 6.658000] sd 0:0:0:0: [sda] 976773168 512-byte logical blocks: (500 GB/466 GiB)
[ 6.658027] sd 0:0:0:0: [sda] Write Protect is off
[ 6.658032] sd 0:0:0:0: [sda] Mode Sense: 00 3a 00 00
[ 6.658072] sd 0:0:0:0: [sda] Write cache: enabled, read cache: enabled, doesn't support DPO or FUA
[ 6.658471] sd 3:0:0:0: [sdb] 976773168 512-byte logical blocks: (500 GB/466 GiB)
[ 6.658498] sd 3:0:0:0: [sdb] Write Protect is off
[ 6.658503] sd 3:0:0:0: [sdb] Mode Sense: 00 3a 00 00
[ 6.658544] sd 3:0:0:0: [sdb] Write cache: enabled, read cache: enabled, doesn't support DPO or FUA
[ 6.658882] sd 4:0:0:0: [sdc] 1953525168 512-byte logical blocks: (1.00 TB/932 GiB)
[ 6.658887] sd 4:0:0:0: [sdc] 4096-byte physical blocks
[ 6.658906] sd 4:0:0:0: [sdc] Write Protect is off
[ 6.658911] sd 4:0:0:0: [sdc] Mode Sense: 00 3a 00 00
[ 6.658952] sd 4:0:0:0: [sdc] Write cache: enabled, read cache: enabled, doesn't support DPO or FUA
[ 6.667339] sdb: sdb1

[ 6.668044] sd 3:0:0:0: [sdb] Attached SCSI disk
[ 6.669746] sda: sda1

[ 6.670492] sd 0:0:0:0: [sda] Attached SCSI disk
[ 6.677638] sdc: sdc1

[ 6.678313] sd 4:0:0:0: [sdc] Attached SCSI disk

[ 6.904107] md/raid1:md0: active with 2 out of 2 mirrors
[ 6.931704] random: fast init done

[ 6.941949] md0: detected capacity change from 0 to 498864226304

[ 20.184809] scsi host6: Adaptec AIC79XX PCI-X SCSI HBA DRIVER, Rev 3.0

aic7901A: Ultra320 Wide Channel A, SCSI Id=7, PCI-X 67-100MHz, 512 SCBs
[ 20.196921] scsi 6:0:0:0: Direct-Access SEAGATE ST373207LW 0005 PQ: 0 ANSI: 3
[ 20.196935] scsi target6:0:0: asynchronous
[ 20.196938] scsi6:A:0:0:
[ 20.196940] Tagged Queuing enabled. Depth 32
[ 20.216785] scsi target6:0:0: Beginning Domain Validation
[ 20.220527] scsi target6:0:0: wide asynchronous
[ 20.223336] scsi target6:0:0: FAST-160 WIDE SCSI 320.0 MB/s DT IU QAS RDSTRM WRFLOW PCOMP (6.25 ns, offset 63)
[ 20.238551] scsi 6:0:0:0: Power-on or device reset occurred
[ 20.241769] scsi target6:0:0: Ending Domain Validation
[ 20.254285] scsi 6:0:1:0: Direct-Access SEAGATE ST373207LW 0005 PQ: 0 ANSI: 3
[ 20.254299] scsi target6:0:1: asynchronous
[ 20.254303] scsi6:A:1:0:
[ 20.254305] Tagged Queuing enabled. Depth 32
[ 20.268784] scsi target6:0:1: Beginning Domain Validation
[ 20.272546] scsi target6:0:1: wide asynchronous
[ 20.275372] scsi target6:0:1: FAST-160 WIDE SCSI 320.0 MB/s DT IU QAS RDSTRM WRFLOW PCOMP (6.25 ns, offset 63)
[ 20.290578] scsi 6:0:1:0: Power-on or device reset occurred
[ 20.293887] scsi target6:0:1: Ending Domain Validation
[ 23.669757] sd 6:0:0:0: [sdd] 143374744 512-byte logical blocks: (73.4 GB/68.4 GiB)
[ 23.669845] sd 6:0:1:0: [sde] 143374744 512-byte logical blocks: (73.4 GB/68.4 GiB)
[ 23.671192] sd 6:0:0:0: [sdd] Write Protect is off
[ 23.671195] sd 6:0:0:0: [sdd] Mode Sense: ab 00 10 08
[ 23.671251] sd 6:0:1:0: [sde] Write Protect is off
[ 23.671254] sd 6:0:1:0: [sde] Mode Sense: ab 00 10 08
[ 23.673022] sd 6:0:0:0: [sdd] Write cache: disabled, read cache: enabled, supports DPO and FUA
[ 23.673076] sd 6:0:1:0: [sde] Write cache: enabled, read cache: enabled, supports DPO and FUA
[ 23.683643] sdd: sdd1
[ 23.687221] sde: sde1

[ 23.688659] sd 6:0:0:0: [sdd] Attached SCSI disk

[ 23.692199] sd 6:0:1:0: [sde] Attached SCSI disk
[ 23.907807] md2: detected capacity change from 0 to 146676908032
[ 24.124814] raid6: mmxx1 gen() 1994 MB/s
[ 24.192792] raid6: mmxx2 gen() 2529 MB/s
[ 24.260798] raid6: sse1x1 gen() 1277 MB/s
[ 24.328783] raid6: sse1x2 gen() 1758 MB/s
[ 24.396783] raid6: sse2x1 gen() 2141 MB/s
[ 24.464780] raid6: sse2x1 xor() 1576 MB/s
[ 24.532789] raid6: sse2x2 gen() 2627 MB/s
[ 24.600776] raid6: sse2x2 xor() 1582 MB/s
[ 24.600779] raid6: using algorithm sse2x2 gen() 2627 MB/s
[ 24.600780] raid6: .... xor() 1582 MB/s, rmw enabled
[ 24.600782] raid6: using intx1 recovery algorithm
[ 24.605408] xor: measuring software checksum speed
[ 24.644778] pIII_sse : 3422.000 MB/sec
[ 24.684774] prefetch64-sse: 4415.000 MB/sec
[ 24.684777] xor: using function: prefetch64-sse (4415.000 MB/sec)
[ 24.688418] async_tx: api initialized (async)
[ 24.773005] random: lvm: uninitialized urandom read (4 bytes read)
[ 25.234544] random: crng init done
[ 25.295333] device-mapper: uevent: version 1.0.3
[ 25.295564] device-mapper: ioctl: 4.39.0-ioctl (2018-04-03) initialised: [e-mail]
[ 29.311442] PM: Image not found (code -22)
[ 29.611548] cryptd: max_cpu_qlen set to 1000
[ 29.877734] EXT4-fs (dm-1): mounted filesystem with ordered data mode. Opts: (null)

Дополнительно попробовал вывести массив из состояние "неактивного" командами:
# mdadm --stop /dev/md1
# mdadm --assemble --force /dev/md1

Но хотя массив и стал активным и в выдаче mdstat показывает, что один диск рабочий, файлы в директории которая относиться к массиву не видны...
Ну и соответственно после перезагрузки, массив снова становиться неактивным...

[anton13ms]

hint000,
В /var/log/syslog тоже вроде бы все в порядке...

/var/log/syslog часть 1

Feb 11 15:46:44 phoenix kernel: [ 4.877917] uhci_hcd 0000:00:1d.2: new USB bus registered, assigned bus number 3
Feb 11 15:46:44 phoenix kernel: [ 4.877928] uhci_hcd 0000:00:1d.2: detected 2 ports
Feb 11 15:46:44 phoenix kernel: [ 4.877955] uhci_hcd 0000:00:1d.2: irq 18, io base 0x00003000
Feb 11 15:46:44 phoenix kernel: [ 4.878150] usb usb3: New USB device found, idVendor=1d6b, idProduct=0001, bcdDevice= 4.19
Feb 11 15:46:44 phoenix kernel: [ 4.878154] usb usb3: New USB device strings: Mfr=3, Product=2, SerialNumber=1
Feb 11 15:46:44 phoenix kernel: [ 4.878157] usb usb3: Product: UHCI Host Controller
Feb 11 15:46:44 phoenix kernel: [ 4.878161] usb usb3: Manufacturer: Linux 4.19.0-8-686-pae uhci_hcd
Feb 11 15:46:44 phoenix kernel: [ 4.878164] usb usb3: SerialNumber: 0000:00:1d.2
Feb 11 15:46:44 phoenix kernel: [ 4.879506] ata_piix 0000:00:1f.1: version 2.13
Feb 11 15:46:44 phoenix kernel: [ 4.879521] ata_piix 0000:00:1f.1: enabling device (0005 -> 0007)
Feb 11 15:46:44 phoenix kernel: [ 4.880252] hub 3-0:1.0: USB hub found
Feb 11 15:46:44 phoenix kernel: [ 4.880277] hub 3-0:1.0: 2 ports detected
Feb 11 15:46:44 phoenix kernel: [ 4.882061] scsi host1: sata_promise
Feb 11 15:46:44 phoenix kernel: [ 4.882094] scsi host2: ata_piix
Feb 11 15:46:44 phoenix kernel: [ 4.882484] scsi host3: ata_piix
Feb 11 15:46:44 phoenix kernel: [ 4.882634] ata5: PATA max UDMA/100 cmd 0x1f0 ctl 0x3f6 bmdma 0x3a0 irq 14
Feb 11 15:46:44 phoenix kernel: [ 4.882638] ata6: PATA max UDMA/100 cmd 0x170 ctl 0x376 bmdma 0x3a8 irq 15
Feb 11 15:46:44 phoenix kernel: [ 4.899891] scsi host4: sata_promise
Feb 11 15:46:44 phoenix kernel: [ 4.900766] scsi host5: sata_promise
Feb 11 15:46:44 phoenix kernel: [ 4.900962] ata1: SATA max UDMA/133 mmio m4096@0xfe8f0000 ata 0xfe8f0380 irq 18
Feb 11 15:46:44 phoenix kernel: [ 4.900966] ata2: SATA max UDMA/133 mmio m4096@0xfe8f0000 ata 0xfe8f0280 irq 18
Feb 11 15:46:44 phoenix kernel: [ 4.900971] ata3: SATA max UDMA/133 mmio m4096@0xfe8f0000 ata 0xfe8f0200 irq 18
Feb 11 15:46:44 phoenix kernel: [ 4.900974] ata4: SATA max UDMA/133 mmio m4096@0xfe8f0000 ata 0xfe8f0300 irq 18
Feb 11 15:46:44 phoenix kernel: [ 4.909946] e100 0000:01:03.0 enp1s3: renamed from eth0
Feb 11 15:46:44 phoenix kernel: [ 5.162138] e1000 0000:01:04.0 eth0: (PCI:33MHz:32-bit) 00:07:e9:3f:b3:b3
Feb 11 15:46:44 phoenix kernel: [ 5.162153] e1000 0000:01:04.0 eth0: Intel(R) PRO/1000 Network Connection
Feb 11 15:46:44 phoenix kernel: [ 5.165628] e1000 0000:01:04.0 enp1s4: renamed from eth0
Feb 11 15:46:44 phoenix kernel: [ 5.296203] usb 2-1: new low-speed USB device number 2 using uhci_hcd
Feb 11 15:46:44 phoenix kernel: [ 5.372231] ata1: SATA link up 3.0 Gbps (SStatus 123 SControl 300)
Feb 11 15:46:44 phoenix kernel: [ 5.391344] ata1.00: ATA-8: WDC WD5000AADS-00S9B0, 01.00A01, max UDMA/133
Feb 11 15:46:44 phoenix kernel: [ 5.391348] ata1.00: 976773168 sectors, multi 0: LBA48 NCQ (depth 0/32)
Feb 11 15:46:44 phoenix kernel: [ 5.394102] ata1.00: configured for UDMA/133
Feb 11 15:46:44 phoenix kernel: [ 5.394339] scsi 0:0:0:0: Direct-Access ATA WDC WD5000AADS-0 0A01 PQ: 0 ANSI: 5
Feb 11 15:46:44 phoenix kernel: [ 5.473489] usb 2-1: New USB device found, idVendor=2101, idProduct=020f, bcdDevice= 0.01
Feb 11 15:46:44 phoenix kernel: [ 5.473493] usb 2-1: New USB device strings: Mfr=0, Product=0, SerialNumber=0
Feb 11 15:46:44 phoenix kernel: [ 5.489819] hidraw: raw HID events driver (C) Jiri Kosina
Feb 11 15:46:44 phoenix kernel: [ 5.529785] usbcore: registered new interface driver usbhid
Feb 11 15:46:44 phoenix kernel: [ 5.529789] usbhid: USB HID core driver
Feb 11 15:46:44 phoenix kernel: [ 5.538567] input: HID 2101:020f as /devices/pci0000:00/0000:00:1d.1/usb2/2-1/2-1:1.0/0003:2101:020F.0001/input/input3
Feb 11 15:46:44 phoenix kernel: [ 5.596809] hid-generic 0003:2101:020F.0001: input,hidraw0: USB HID v1.01 Keyboard [HID 2101:020f] on usb-0000:00:1d.1-1/input0
Feb 11 15:46:44 phoenix kernel: [ 5.598886] input: HID 2101:020f as /devices/pci0000:00/0000:00:1d.1/usb2/2-1/2-1:1.1/0003:2101:020F.0002/input/input4
Feb 11 15:46:44 phoenix kernel: [ 5.599241] hid-generic 0003:2101:020F.0002: input,hidraw1: USB HID v1.01 Mouse [HID 2101:020f] on usb-0000:00:1d.1-1/input1
Feb 11 15:46:44 phoenix kernel: [ 5.868230] ata2: SATA link up 3.0 Gbps (SStatus 123 SControl 300)
Feb 11 15:46:44 phoenix kernel: [ 5.886540] ata2.00: ATA-8: WDC WD5000AADS-00S9B0, 01.00A01, max UDMA/133
Feb 11 15:46:44 phoenix kernel: [ 5.886543] ata2.00: 976773168 sectors, multi 0: LBA48 NCQ (depth 0/32)
Feb 11 15:46:44 phoenix kernel: [ 5.889318] ata2.00: configured for UDMA/133
Feb 11 15:46:44 phoenix kernel: [ 5.889556] scsi 1:0:0:0: Direct-Access ATA WDC WD5000AADS-0 0A01 PQ: 0 ANSI: 5
Feb 11 15:46:44 phoenix kernel: [ 6.360227] ata3: SATA link up 3.0 Gbps (SStatus 123 SControl 300)
Feb 11 15:46:44 phoenix kernel: [ 6.362865] ata3.00: ATA-10: WDC WD10EZEX-00WN4A0, 01.01A01, max UDMA/133
Feb 11 15:46:44 phoenix kernel: [ 6.362869] ata3.00: 1953525168 sectors, multi 16: LBA48 NCQ (depth 0/32)
Feb 11 15:46:44 phoenix kernel: [ 6.365605] ata3.00: configured for UDMA/133
Feb 11 15:46:44 phoenix kernel: [ 6.365841] scsi 4:0:0:0: Direct-Access ATA WDC WD10EZEX-00W 1A01 PQ: 0 ANSI: 5
Feb 11 15:46:44 phoenix kernel: [ 6.836254] ata4: SATA link up 3.0 Gbps (SStatus 123 SControl 300)
Feb 11 15:46:44 phoenix kernel: [ 6.838882] ata4.00: ATA-10: WDC WD10EZEX-00WN4A0, 01.01A01, max UDMA/133
Feb 11 15:46:44 phoenix kernel: [ 6.838885] ata4.00: 1953525168 sectors, multi 16: LBA48 NCQ (depth 0/32)
Feb 11 15:46:44 phoenix kernel: [ 6.841621] ata4.00: configured for UDMA/133
Feb 11 15:46:44 phoenix kernel: [ 6.841846] scsi 5:0:0:0: Direct-Access ATA WDC WD10EZEX-00W 1A01 PQ: 0 ANSI: 5
Feb 11 15:46:44 phoenix kernel: [ 6.861416] sd 0:0:0:0: [sda] 976773168 512-byte logical blocks: (500 GB/466 GiB)
Feb 11 15:46:44 phoenix kernel: [ 6.861440] sd 0:0:0:0: [sda] Write Protect is off
Feb 11 15:46:44 phoenix kernel: [ 6.861444] sd 0:0:0:0: [sda] Mode Sense: 00 3a 00 00
Feb 11 15:46:44 phoenix kernel: [ 6.861479] sd 0:0:0:0: [sda] Write cache: enabled, read cache: enabled, doesn't support DPO or FUA
Feb 11 15:46:44 phoenix kernel: [ 6.862791] sd 1:0:0:0: [sdb] 976773168 512-byte logical blocks: (500 GB/466 GiB)
Feb 11 15:46:44 phoenix kernel: [ 6.862819] sd 1:0:0:0: [sdb] Write Protect is off

[anton13ms]

/var/log/syslog часть 2

Feb 11 15:46:44 phoenix kernel: [ 6.862825] sd 1:0:0:0: [sdb] Mode Sense: 00 3a 00 00
Feb 11 15:46:44 phoenix kernel: [ 6.862866] sd 1:0:0:0: [sdb] Write cache: enabled, read cache: enabled, doesn't support DPO or FUA
Feb 11 15:46:44 phoenix kernel: [ 6.863265] sd 4:0:0:0: [sdc] 1953525168 512-byte logical blocks: (1.00 TB/932 GiB)
Feb 11 15:46:44 phoenix kernel: [ 6.863272] sd 4:0:0:0: [sdc] 4096-byte physical blocks
Feb 11 15:46:44 phoenix kernel: [ 6.863297] sd 4:0:0:0: [sdc] Write Protect is off
Feb 11 15:46:44 phoenix kernel: [ 6.863302] sd 4:0:0:0: [sdc] Mode Sense: 00 3a 00 00
Feb 11 15:46:44 phoenix kernel: [ 6.863345] sd 4:0:0:0: [sdc] Write cache: enabled, read cache: enabled, doesn't support DPO or FUA
Feb 11 15:46:44 phoenix kernel: [ 6.865567] sd 5:0:0:0: [sdd] 1953525168 512-byte logical blocks: (1.00 TB/932 GiB)
Feb 11 15:46:44 phoenix kernel: [ 6.865573] sd 5:0:0:0: [sdd] 4096-byte physical blocks
Feb 11 15:46:44 phoenix kernel: [ 6.865602] sd 5:0:0:0: [sdd] Write Protect is off
Feb 11 15:46:44 phoenix kernel: [ 6.865606] sd 5:0:0:0: [sdd] Mode Sense: 00 3a 00 00
Feb 11 15:46:44 phoenix kernel: [ 6.865645] sd 5:0:0:0: [sdd] Write cache: enabled, read cache: enabled, doesn't support DPO or FUA
Feb 11 15:46:44 phoenix kernel: [ 6.874210] sdb: sdb1
Feb 11 15:46:44 phoenix kernel: [ 6.874960] sda: sda1
Feb 11 15:46:44 phoenix kernel: [ 6.874982] sd 1:0:0:0: [sdb] Attached SCSI disk
Feb 11 15:46:44 phoenix kernel: [ 6.875628] sd 0:0:0:0: [sda] Attached SCSI disk
Feb 11 15:46:44 phoenix kernel: [ 6.883882] sdd: sdd1
Feb 11 15:46:44 phoenix kernel: [ 6.884584] sdc: sdc1
Feb 11 15:46:44 phoenix kernel: [ 6.884691] sd 5:0:0:0: [sdd] Attached SCSI disk
Feb 11 15:46:44 phoenix kernel: [ 6.885444] sd 4:0:0:0: [sdc] Attached SCSI disk
Feb 11 15:46:44 phoenix kernel: [ 7.048536] random: fast init done
Feb 11 15:46:44 phoenix kernel: [ 7.113517] md/raid1:md0: active with 2 out of 2 mirrors
Feb 11 15:46:44 phoenix kernel: [ 7.113811] md/raid1:md1: active with 2 out of 2 mirrors
Feb 11 15:46:44 phoenix kernel: [ 7.148958] md0: detected capacity change from 0 to 498864226304
Feb 11 15:46:44 phoenix kernel: [ 7.164653] md1: detected capacity change from 0 to 998864060416
Feb 11 15:46:44 phoenix kernel: [ 20.184219] scsi host6: Adaptec AIC79XX PCI-X SCSI HBA DRIVER, Rev 3.0
Feb 11 15:46:44 phoenix kernel: [ 20.184219]
Feb 11 15:46:44 phoenix kernel: [ 20.184219] aic7901A: Ultra320 Wide Channel A, SCSI Id=7, PCI-X 67-100MHz, 512 SCBs
Feb 11 15:46:44 phoenix kernel: [ 20.196266] scsi 6:0:0:0: Direct-Access SEAGATE ST373207LW 0005 PQ: 0 ANSI: 3
Feb 11 15:46:44 phoenix kernel: [ 20.196280] scsi target6:0:0: asynchronous
Feb 11 15:46:44 phoenix kernel: [ 20.196283] scsi6:A:0:0:
Feb 11 15:46:44 phoenix kernel: [ 20.196285] Tagged Queuing enabled. Depth 32
Feb 11 15:46:44 phoenix kernel: [ 20.224199] scsi target6:0:0: Beginning Domain Validation
Feb 11 15:46:44 phoenix kernel: [ 20.227960] scsi target6:0:0: wide asynchronous
Feb 11 15:46:44 phoenix kernel: [ 20.230773] scsi target6:0:0: FAST-160 WIDE SCSI 320.0 MB/s DT IU QAS RDSTRM WRFLOW PCOMP (6.25 ns, offset 63)
Feb 11 15:46:44 phoenix kernel: [ 20.245970] scsi 6:0:0:0: Power-on or device reset occurred
Feb 11 15:46:44 phoenix kernel: [ 20.249178] scsi target6:0:0: Ending Domain Validation
Feb 11 15:46:44 phoenix kernel: [ 20.258782] scsi 6:0:1:0: Direct-Access SEAGATE ST373207LW 0005 PQ: 0 ANSI: 3
Feb 11 15:46:44 phoenix kernel: [ 20.258796] scsi target6:0:1: asynchronous
Feb 11 15:46:44 phoenix kernel: [ 20.258799] scsi6:A:1:0:
Feb 11 15:46:44 phoenix kernel: [ 20.258801] Tagged Queuing enabled. Depth 32
Feb 11 15:46:44 phoenix kernel: [ 20.276197] scsi target6:0:1: Beginning Domain Validation
Feb 11 15:46:44 phoenix kernel: [ 20.279949] scsi target6:0:1: wide asynchronous
Feb 11 15:46:44 phoenix kernel: [ 20.282781] scsi target6:0:1: FAST-160 WIDE SCSI 320.0 MB/s DT IU QAS RDSTRM WRFLOW PCOMP (6.25 ns, offset 63)
Feb 11 15:46:44 phoenix kernel: [ 20.297995] scsi 6:0:1:0: Power-on or device reset occurred
Feb 11 15:46:44 phoenix kernel: [ 20.301260] scsi target6:0:1: Ending Domain Validation
Feb 11 15:46:44 phoenix kernel: [ 23.675229] sd 6:0:0:0: [sde] 143374744 512-byte logical blocks: (73.4 GB/68.4 GiB)
Feb 11 15:46:44 phoenix kernel: [ 23.675329] sd 6:0:1:0: [sdf] 143374744 512-byte logical blocks: (73.4 GB/68.4 GiB)
Feb 11 15:46:44 phoenix kernel: [ 23.676679] sd 6:0:0:0: [sde] Write Protect is off
Feb 11 15:46:44 phoenix kernel: [ 23.676682] sd 6:0:0:0: [sde] Mode Sense: ab 00 10 08
Feb 11 15:46:44 phoenix kernel: [ 23.676735] sd 6:0:1:0: [sdf] Write Protect is off
Feb 11 15:46:44 phoenix kernel: [ 23.676738] sd 6:0:1:0: [sdf] Mode Sense: ab 00 10 08
Feb 11 15:46:44 phoenix kernel: [ 23.678503] sd 6:0:0:0: [sde] Write cache: disabled, read cache: enabled, supports DPO and FUA
Feb 11 15:46:44 phoenix kernel: [ 23.678560] sd 6:0:1:0: [sdf] Write cache: enabled, read cache: enabled, supports DPO and FUA
Feb 11 15:46:44 phoenix kernel: [ 23.691875] random: crng init done
Feb 11 15:46:44 phoenix kernel: [ 23.691944] sdf: sdf1
Feb 11 15:46:44 phoenix kernel: [ 23.694961] sde: sde1
Feb 11 15:46:44 phoenix kernel: [ 23.697001] sd 6:0:1:0: [sdf] Attached SCSI disk
Feb 11 15:46:44 phoenix kernel: [ 23.699884] sd 6:0:0:0: [sde] Attached SCSI disk
Feb 11 15:46:44 phoenix kernel: [ 23.919498] md2: detected capacity change from 0 to 146676908032
Feb 11 15:46:44 phoenix kernel: [ 24.128211] raid6: mmxx1 gen() 1845 MB/s
Feb 11 15:46:44 phoenix kernel: [ 24.196212] raid6: mmxx2 gen() 2513 MB/s
Feb 11 15:46:44 phoenix kernel: [ 24.264208] raid6: sse1x1 gen() 1294 MB/s
Feb 11 15:46:44 phoenix kernel: [ 24.332229] raid6: sse1x2 gen() 1773 MB/s
Feb 11 15:46:44 phoenix kernel: [ 24.400206] raid6: sse2x1 gen() 2125 MB/s
Feb 11 15:46:44 phoenix kernel: [ 24.468193] raid6: sse2x1 xor() 1580 MB/s
Feb 11 15:46:44 phoenix kernel: [ 24.536206] raid6: sse2x2 gen() 2627 MB/s
Feb 11 15:46:44 phoenix kernel: [ 24.604199] raid6: sse2x2 xor() 1583 MB/s
Feb 11 15:46:44 phoenix kernel: [ 24.604202] raid6: using algorithm sse2x2 gen() 2627 MB/s
Feb 11 15:46:44 phoenix kernel: [ 24.604204] raid6: .... xor() 1583 MB/s, rmw enabled
Feb 11 15:46:44 phoenix kernel: [ 24.604207] raid6: using intx1 recovery algorithm
Feb 11 15:46:44 phoenix kernel: [ 24.608697] xor: measuring software checksum speed
Feb 11 15:46:44 phoenix kernel: [ 24.648193] pIII_sse : 3406.000 MB/sec
Feb 11 15:46:44 phoenix kernel: [ 24.688192] prefetch64-sse: 4242.000 MB/sec
Feb 11 15:46:44 phoenix kernel: [ 24.688196] xor: using function: prefetch64-sse (4242.000 MB/sec)
Feb 11 15:46:44 phoenix kernel: [ 24.691702] async_tx: api initialized (async)
Feb 11 15:46:44 phoenix kernel: [ 24.895843] device-mapper: uevent: version 1.0.3
Feb 11 15:46:44 phoenix kernel: [ 24.896072] device-mapper: ioctl: 4.39.0-ioctl (2018-04-03) initialised: [e-mail]
Feb 11 15:46:44 phoenix kernel: [ 29.082510] PM: Image not found (code -22)
Feb 11 15:46:44 phoenix kernel: [ 29.386746] cryptd: max_cpu_qlen set to 1000
Feb 11 15:46:44 phoenix kernel: [ 29.685428] EXT4-fs (dm-1): mounted filesystem with ordered data mode. Opts: (null)
Feb 11 15:46:44 phoenix kernel: [ 33.049490] EXT4-fs (dm-1): re-mounted. Opts: errors=remount-ro
Feb 11 15:46:44 phoenix kernel: [ 34.095398] input: Power Button as /devices/LNXSYSTM:00/LNXPWRBN:00/input/input5
Feb 11 15:46:44 phoenix kernel: [ 34.095466] ACPI: Power Button [PWRF]
Feb 11 15:46:44 phoenix kernel: [ 34.113580] input: PC Speaker as /devices/platform/pcspkr/input/input6
Feb 11 15:46:44 phoenix kernel: [ 34.167564] version 39.2
Feb 11 15:46:44 phoenix kernel: [ 34.182882] ipmi device interface
Feb 11 15:46:44 phoenix kernel: [ 34.228310] IPMI System Interface driver.
Feb 11 15:46:44 phoenix kernel: [ 34.228378] ipmi_si dmi-ipmi-si.0: ipmi_platform: probing via SMBIOS
Feb 11 15:46:44 phoenix kernel: [ 34.228386] ipmi_si: SMBIOS: io 0xca2 regsize 1 spacing 1 irq 0
Feb 11 15:46:44 phoenix kernel: [ 34.228390] ipmi_si: Adding SMBIOS-specified kcs state machine

[anton13ms]

/var/log/syslog часть 3

Feb 11 15:46:44 phoenix kernel: [ 34.228583] ipmi_si: Trying SMBIOS-specified kcs state machine at i/o address 0xca2, slave address 0x20, irq 0
Feb 11 15:46:44 phoenix kernel: [ 34.294606] EDAC e7xxx: tolm = f0000, remapbase = 100000, remaplimit = 10c000
Feb 11 15:46:44 phoenix kernel: [ 34.295101] EDAC MC0: Giving out device to module e7xxx_edac controller E7501: DEV 0000:00:00.0 (POLLED)
Feb 11 15:46:44 phoenix kernel: [ 34.295126] EDAC PCI0: Giving out device to module e7xxx_edac controller EDAC PCI controller: DEV 0000:00:00.0 (POLLED)
Feb 11 15:46:44 phoenix kernel: [ 34.373884] intel_rng: FWH not detected
Feb 11 15:46:44 phoenix kernel: [ 34.463062] sd 0:0:0:0: Attached scsi generic sg0 type 0
Feb 11 15:46:44 phoenix kernel: [ 34.463914] sd 1:0:0:0: Attached scsi generic sg1 type 0
Feb 11 15:46:44 phoenix kernel: [ 34.467477] sd 4:0:0:0: Attached scsi generic sg2 type 0
Feb 11 15:46:44 phoenix kernel: [ 34.468369] sd 5:0:0:0: Attached scsi generic sg3 type 0
Feb 11 15:46:44 phoenix kernel: [ 34.471635] sd 6:0:0:0: Attached scsi generic sg4 type 0
Feb 11 15:46:44 phoenix kernel: [ 34.474430] sd 6:0:1:0: Attached scsi generic sg5 type 0
Feb 11 15:46:44 phoenix kernel: [ 34.649778] ipmi_si dmi-ipmi-si.0: Found new BMC (man_id: 0x000157, prod_id: 0x001c, dev_id: 0x20)
Feb 11 15:46:44 phoenix kernel: [ 34.729733] parport_pc 00:07: reported by Plug and Play ACPI
Feb 11 15:46:44 phoenix kernel: [ 34.729942] parport0: PC-style at 0x378 (0x778), irq 7 [PCSPP,TRISTATE]
Feb 11 15:46:44 phoenix kernel: [ 34.730161] iTCO_vendor_support: vendor-support=0
Feb 11 15:46:44 phoenix kernel: [ 34.745735] iTCO_wdt: Intel TCO WatchDog Timer Driver v1.11
Feb 11 15:46:44 phoenix kernel: [ 34.745833] iTCO_wdt: unable to reset NO_REBOOT flag, device disabled by hardware/BIOS
Feb 11 15:46:44 phoenix kernel: [ 34.772324] ipmi_si dmi-ipmi-si.0: IPMI kcs interface initialized
Feb 11 15:46:44 phoenix kernel: [ 34.797655] ppdev: user-space parallel port driver
Feb 11 15:46:44 phoenix kernel: [ 35.747637] Adding 7811068k swap on /dev/mapper/lvgroot-lvlswap. Priority:-2 extents:1 across:7811068k FS
Feb 11 15:46:44 phoenix kernel: [ 36.757223] EXT4-fs (dm-5): mounted filesystem with ordered data mode. Opts: (null)
Feb 11 15:46:44 phoenix kernel: [ 37.050537] EXT4-fs (dm-6): mounted filesystem with ordered data mode. Opts: (null)
Feb 11 15:46:44 phoenix kernel: [ 37.467832] audit: type=1400 audit(1581403604.520:2): apparmor="STATUS" operation="profile_load" profile="unconfined" name="nvidia_modprobe" pid=424 comm="apparmor_parser"
Feb 11 15:46:44 phoenix kernel: [ 37.467856] audit: type=1400 audit(1581403604.520:3): apparmor="STATUS" operation="profile_load" profile="unconfined" name="nvidia_modprobe//kmod" pid=424 comm="apparmor_parser"
Feb 11 15:46:44 phoenix kernel: [ 37.680972] IPv6: ADDRCONF(NETDEV_UP): enp1s4: link is not ready
Feb 11 15:46:44 phoenix kernel: [ 37.688664] e1000: enp1s4 NIC Link is Up 100 Mbps Full Duplex, Flow Control: RX/TX
Feb 11 15:46:44 phoenix kernel: [ 37.688833] IPv6: ADDRCONF(NETDEV_CHANGE): enp1s4: link becomes ready
Feb 11 15:46:44 phoenix cron[446]: (CRON) INFO (Running @reboot jobs)
Feb 11 15:46:44 phoenix systemd[1]: Started System Logging Service.
Feb 11 15:46:44 phoenix systemd[1]: Started Raise network interfaces.
Feb 11 15:46:44 phoenix systemd[1]: Started Login Service.
Feb 11 15:46:44 phoenix systemd[1]: Reached target Network.
Feb 11 15:46:45 phoenix systemd[1]: Starting OpenBSD Secure Shell server...
Feb 11 15:46:45 phoenix systemd[1]: Starting Permit User Sessions...
Feb 11 15:46:45 phoenix systemd[1]: Started Permit User Sessions.
Feb 11 15:46:45 phoenix systemd[1]: Started Getty on tty1.
Feb 11 15:46:45 phoenix systemd[1]: Reached target Login Prompts.
Feb 11 15:46:45 phoenix systemd[1]: Started OpenBSD Secure Shell server.
Feb 11 15:46:45 phoenix systemd[1]: Reached target Multi-User System.
Feb 11 15:46:45 phoenix systemd[1]: Reached target Graphical Interface.
Feb 11 15:46:45 phoenix systemd[1]: Starting Update UTMP about System Runlevel Changes...
Feb 11 15:46:45 phoenix systemd[1]: systemd-update-utmp-runlevel.service: Succeeded.
Feb 11 15:46:45 phoenix systemd[1]: Started Update UTMP about System Runlevel Changes.
Feb 11 15:46:45 phoenix systemd[1]: Startup finished in 31.043s (kernel) + 7.377s (userspace) = 38.420s.
Feb 11 15:47:13 phoenix systemd[1]: systemd-fsckd.service: Succeeded.
Feb 11 15:49:16 phoenix systemd[1]: Created slice User Slice of UID 0.
Feb 11 15:49:16 phoenix systemd[1]: Starting User Runtime Directory /run/user/0...
Feb 11 15:49:16 phoenix systemd[1]: Started User Runtime Directory /run/user/0.
Feb 11 15:49:16 phoenix systemd[1]: Starting User Manager for UID 0...
Feb 11 15:49:16 phoenix systemd[469]: Reached target Timers.
Feb 11 15:49:16 phoenix systemd[469]: Reached target Sockets.
Feb 11 15:49:16 phoenix systemd[469]: Reached target Paths.
Feb 11 15:49:16 phoenix systemd[469]: Reached target Basic System.
Feb 11 15:49:16 phoenix systemd[469]: Reached target Default.
Feb 11 15:49:16 phoenix systemd[469]: Startup finished in 193ms.
Feb 11 15:49:16 phoenix systemd[1]: Started User Manager for UID 0.
Feb 11 15:49:16 phoenix systemd[1]: Started Session 1 of user root.
Feb 11 16:01:22 phoenix systemd[1]: Starting Cleanup of Temporary Directories...
Feb 11 16:01:22 phoenix systemd[1]: systemd-tmpfiles-clean.service: Succeeded.
Feb 11 16:01:22 phoenix systemd[1]: Started Cleanup of Temporary Directories.
Feb 11 16:17:02 phoenix CRON[482]: (root) CMD ( cd / && run-parts --report /etc/cron.hourly)
Feb 11 16:33:37 phoenix systemd[1]: Created slice User Slice of UID 1000.
Feb 11 16:33:37 phoenix systemd[1]: Starting User Runtime Directory /run/user/1000...
Feb 11 16:33:37 phoenix systemd[1]: Started User Runtime Directory /run/user/1000.
Feb 11 16:33:37 phoenix systemd[1]: Starting User Manager for UID 1000...
Feb 11 16:33:37 phoenix systemd[489]: Reached target Timers.
Feb 11 16:33:37 phoenix systemd[489]: Reached target Paths.
Feb 11 16:33:37 phoenix systemd[489]: Reached target Sockets.
Feb 11 16:33:37 phoenix systemd[489]: Reached target Basic System.
Feb 11 16:33:37 phoenix systemd[489]: Reached target Default.
Feb 11 16:33:37 phoenix systemd[489]: Startup finished in 173ms.
Feb 11 16:33:37 phoenix systemd[1]: Started User Manager for UID 1000.
Feb 11 16:33:37 phoenix systemd[1]: Started Session 4 of user anton.
Feb 11 16:42:35 phoenix systemd[1]: Stopping Availability of block devices...
Feb 11 16:42:35 phoenix systemd[1]: Stopping LVM event activation on device 9:1...
Feb 11 16:42:35 phoenix systemd[1]: lvm2-lvmpolld.socket: Succeeded.
Feb 11 16:42:35 phoenix systemd[1]: Closed LVM2 poll daemon socket.
Feb 11 16:42:35 phoenix systemd[1]: Stopped target Graphical Interface.
Feb 11 16:42:35 phoenix systemd[1]: Stopping Session 4 of user anton.
Feb 11 16:42:35 phoenix systemd[1]: Stopped target Multi-User System.
Feb 11 16:42:35 phoenix systemd[1]: Stopping LVM event activation on device 9:0...

[zersh]

а покажите структуру своих дисков..
команда lsblk

при перезагрузке - у вас всегда запускается emegrency mode - ?

[anton13ms]

zersh,

при перезагрузке - у вас всегда запускается emegrency mode - ?

Не всегда... Только если отключить от материнской платы один из дисков массива md1.

выдача lsblk

NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINT
sda 8:0 0 465,8G 0 disk
└─sda1 8:1 0 464,7G 0 part
└─md0 9:0 0 464,6G 0 raid1
├─lvgroot-lvlroot-real 253:0 0 372,5G 0 lvm
│ ├─lvgroot-lvlroot 253:1 0 372,5G 0 lvm /
│ └─lvgroot-snaphot_root 253:3 0 372,5G 0 lvm
├─lvgroot-snaphot_root-cow 253:2 0 10G 0 lvm
│ └─lvgroot-snaphot_root 253:3 0 372,5G 0 lvm
└─lvgroot-lvlswap 253:4 0 7,5G 0 lvm [SWAP]
sdb 8:16 0 465,8G 0 disk
└─sdb1 8:17 0 464,7G 0 part
└─md0 9:0 0 464,6G 0 raid1
├─lvgroot-lvlroot-real 253:0 0 372,5G 0 lvm
│ ├─lvgroot-lvlroot 253:1 0 372,5G 0 lvm /
│ └─lvgroot-snaphot_root 253:3 0 372,5G 0 lvm
├─lvgroot-snaphot_root-cow 253:2 0 10G 0 lvm
│ └─lvgroot-snaphot_root 253:3 0 372,5G 0 lvm
└─lvgroot-lvlswap 253:4 0 7,5G 0 lvm [SWAP]
sdc 8:32 0 931,5G 0 disk
└─sdc1 8:33 0 930,4G 0 part
└─md1 9:1 0 930,3G 0 raid1
└─lvgvirtualos-lvlvirtualos 253:6 0 930,3G 0 lvm /virtualos
sdd 8:48 0 931,5G 0 disk
└─sdd1 8:49 0 930,4G 0 part
└─md1 9:1 0 930,3G 0 raid1
└─lvgvirtualos-lvlvirtualos 253:6 0 930,3G 0 lvm /virtualos
sde 8:64 0 68,4G 0 disk
└─sde1 8:65 0 68,4G 0 part
└─md2 9:2 0 136,6G 0 raid0
└─lvgtempbackup-lvltempbackup 253:5 0 136,6G 0 lvm /tempbackup
sdf 8:80 0 68,4G 0 disk
└─sdf1 8:81 0 68,4G 0 part
└─md2 9:2 0 136,6G 0 raid0
└─lvgtempbackup-lvltempbackup 253:5 0 136,6G 0 lvm /tempbackup

[zersh]

Не всегда... Только если отключить от материнской платы один из дисков массива md1.

скорее всего это из-за того что ломается lvm /virtualos
система не может его смонтировать и вываливается

а какой командой создавался массив? скорее всего ошибка была допущена на этом этапе.
сейчас данные в массиве важны или это эксперименты для понимания?

какое состояние на текущий момент? оба диска подключены? массив собран, или как в посте, один отключён?

[anton13ms]

zersh,

скорее всего это из-за того что ломается lvm /virtualos
система не может его смонтировать и вываливается

Возможно, вопрос только в том, в чем именно ошибка:(

а какой командой создавался массив?

Массив создавался при установки Debian (средствами установщика).

сейчас данные в массиве важны или это эксперименты для понимания?

Нет, не важны. Это эксперимент. То есть сервер только на этапе ввода в эксплуатацию...

какое состояние на текущий момент? оба диска подключены? массив собран, или как в посте, один отключён?

На данный момент, возможно реализовать оба состояния...

[zersh]

Тогда попробуйте всё в ручную.
останавливаем md1

mdadm --stop /dev/md1

Удаляем суперблоки, чтобы окончательно убрать информацию о принадлежности к массиву:

mdadm --zero-superblock /dev/sdc1
mdadm --zero-superblock /dev/sdd1

Удаляем массив

mdadm --remove /dev/md1

Создаем снова:

mdadm --create --verbose /dev/md0 --level=1 --raid-devices=2 /dev/sdd1 /dev/sdc1

следим за синхронизацией:

watch "cat /proc/mdstat"

после синхронизации - монтируем, /dev/md1 и заливаем данные

для проверки что массив работает, помечаем один из дисков как сбойный:

mdadm --manage /dev/md1 --fail /dev/sdd1

затем вообще удаляем диск из массива:

mdadm --manage /dev/md1 --remove /dev/sdd1

массив должен остаться лететь на одном диске. точка монтирования - должна быть доступна. можно закинуть файлы, или удалить

Возвращаем диск в массив:

mdadm --manage /dev/md1 --add /dev/sdd1

Для проверки, можно остановить массив, и смонтировать разделы в разные каталоги - содержимое должно совпадать. но аккутратно, ничего при этом не изменяя, иначе данные в масиве будут некорректны. при включении он либо рассыпется, либо затрётся одним из дисков.

По поводу остановки загрузки во время ребута и точки монтирования virtualos - прежде чем убирать диск физически - удалите его из LVM. или, если это эксперименты - закомментируйте /virtualos в fstab - чтобы система не пыталась монтировать его. тогда загрузка пройдёт штатно.

[anton13ms]

zersh,
Хорошо попробую выполнить пересоздание массива.

По поводу остановки загрузки во время ребута и точки монтирования virtualos - прежде чем убирать диск физически - удалите его из LVM. или, если это эксперименты - закомментируйте /virtualos в fstab - чтобы система не пыталась монтировать его. тогда загрузка пройдёт штатно.

Я то это как себе представляю, в реальности диск может просто отвалиться, естественно будучи смонтированным и добавленным в массив.
Просто раньше, у меня при "наглом" исключении диска из массива, система загружалась в нормально режиме...
В принципе даже загрузившись в безопасном режиме (или как правильно называется?). Можно просто сделать раздел активным и добавить чистый (то есть новый) диск в замен старого и все будет работать штатно. Но я не уверен, что это правильно?:(

Другими словами, то что происходит в моем случае, является нормальной ситуацией?
Или все таки при удалении одного из дисков массива RAID 1, после перезагрузки в безопасный режим переходить система не должна?

[Melkij]

Другими словами, то что происходит в моем случае, является нормальной ситуацией?

Определённо нет.

zersh, забыли упомянуть редактирование /etc/mdadm/mdadm.conf и сопутствующее с ним обновление initramfs.

[zersh]

Melkij,

забыли упомянуть редактирование /etc/mdadm/mdadm.conf и сопутствующее с ним обновление initramfs.

За debian не скажу. А ubuntu / Centos - редактировать его не обязательно, если это не системный раздел, с которого должна быть загрузка

Другими словами, то что происходит в моем случае, является нормальной ситуацией?

Определённо нет.

Тоже соглашусь что нет. В вашем случае есть две проблемы:
1. С массивом - при деградациии масива в raid1- при живом одном из дисков - система должна загружаться нормально
2. С точкой монтирования /virtualos. Из-за чего сервер переходит в "режим восстановления"

[Melkij]

zersh,

А ubuntu / Centos - редактировать его не обязательно, если это не системный раздел,

Обязательно если не хотите сюрпризов при перезагрузке системы. (обычно сопровождается автоматической сборкой массива, но с самовольным переименованием куда-нибудь в md127)

[anton13ms]

zersh,
Произвел пересоздание массива по вашей инструкции. После чего проверил, проблема осталась(
Но возникло несколько дополнительных вопросов:

1.

после синхронизации - монтируем, /dev/md1 и заливаем данные

Вы имеете ввиду в LVM? Дело в том, что он у меня автоматически монтируется...
Или все таки перед удалением нужно было его от монтировать?

2. Вы говорите:

для проверки что массив работает, помечаем один из дисков как сбойный:

mdadm --manage /dev/md1 --fail /dev/sdd1

затем вообще удаляем диск из массива:

mdadm --manage /dev/md1 --remove /dev/sdd1

массив должен остаться лететь на одном диске. точка монтирования - должна быть доступна. можно закинуть файлы, или удалить

Возвращаем диск в массив:

mdadm --manage /dev/md1 --add /dev/sdd1

Если так делать, то у меня и раньше бы все заводилось... Вопрос в том, что если диск в наглую отключить и после перезагрузки должна ли ОС загружаться в нормальном режиме или нет? Может быть просто в таком случае безопасный и грузиться, в LVM то я не от монтировал и т.п. ...

3.

(обычно сопровождается автоматической сборкой массива, но с самовольным переименованием куда-нибудь в md127)

Да, действительно прыгнул в md127 :)))

В общем, сейчас пробую сделать так:
1. От монтировал в LVM
2. Удалил локальный том в LVM
3. Удалил массив
4. Обнулил суперблоки
5. За комментировал md1 в /etc/mdadm/mdadm.conf
6. Обновил initramfs командой:
update-initramfs -u
7. Создал массив

После синхронизации, создам все в LVM и при монтирую обратно.
Если все останется как было, то наверное буду пользоваться как есть... По крайней мере, данные в таком случае, не теряются и если можно будет на этом серевере на горячую нормально менять диски в массиве(а это еще нужно будет проверить), то буду пользоваться так. Главное получается, вовремя заметить неисправность диска и не допускать перезагрузки иначе ssh потеряется:(

[anton13ms]

Создал я новый массив. Дождался когда он синхронизируется. В итоге в mdstat вроде все нормально.
Далее я перезагрузился и вот:


Похоже, что с initramfs, что то случилось или нужно было перед перезагрузкой md1 в /etc/mdadm/mdadm.conf раскомментировать.

Попробую начать все заново... И установить ОС на полностью чистые диски. И проверю как будет в подобной конфигурации работать массив md1...

[zersh]

по скрину он на md0 ругается....
как вариант, загрузиться в режиме Rescue mode с загрузочного диска. и выполнить update-initrumfs
по поводу сломанных точек монтирования - можно в fstab прописать опцию nofail - тогда система не должна будет останавливать загрузку если точка монтирования повреждена, а просто пропуститэтот этап и продолжет грузиться

[anton13ms]

по скрину он на md0 ругается....

Да, я вижу, только не понятно, что с ним случилось, поскольку я его вообще не затрагивал.

Вообщем, в итоге я полностью переустановил систему на форматированные жесткие диске, но проблема осталась, при удалении одного из дисков второго массива, система перестает загружаться.
Придется так использовать, по крайней мере данные и сам массив можно активировать и восстановить, единственно, что при потере диска и перезагрузке не работает SSH (

Answer 2

[Рональд Макдональд]

перед созданием массива, я не удалил суперблоки на дисках?

Эко вас мотает.
Не удаляйте суперблоки, это сердце ext4, например.
На скрине - штатный вывод mdadm с информацией о блоках, всё нормально.

Comments

[anton13ms]

Я имел ввиду, перед тем как создавать массив... Разве не нужно на еще чистом жестком диске проводить удаление суперблоков?

[Рональд Макдональд]

anton13ms, зачем? Форматируете и вперёд.

[anton13ms]

Рональд Макдональд, Значит правильно сделал:( Значит причина в другом:(