При отказе двух из четырех дисков в soft-raid10 в линуксе разваливается массив?

Question

[pezzak]

Тестирую ситуацию с отказом дисков в raid10 (mdadm) под линуксом. В рейде четыре диска. При отключении двух дисков из разных пар система не грузится (пары точно разные). Так же ведь не должно быть?

pezzak@ubuntu:~$ sudo file -s /dev/sda
/dev/sda: x86 boot sector
pezzak@ubuntu:~$ sudo file -s /dev/sdb
/dev/sdb: x86 boot sector
pezzak@ubuntu:~$ sudo file -s /dev/sdc
/dev/sdc: x86 boot sector
pezzak@ubuntu:~$ sudo file -s /dev/sdd
/dev/sdd: x86 boot sector

Linux ubuntu 3.19.0-25-generic #26~14.04.1-Ubuntu SMP Fri Jul 24 21:16:20 UTC 2015 x86_64 x86_64 x86_64 GNU/Linux

root@ubuntu:/home/pezzak# mdadm --detail /dev/md0
/dev/md0:
        Version : 1.2
  Creation Time : Sun Feb 14 18:46:47 2016
     Raid Level : raid10
     Array Size : 15717376 (14.99 GiB 16.09 GB)
  Used Dev Size : 7858688 (7.49 GiB 8.05 GB)
   Raid Devices : 4
  Total Devices : 4
    Persistence : Superblock is persistent

    Update Time : Sun Feb 14 21:24:31 2016
          State : clean
 Active Devices : 4
Working Devices : 4
 Failed Devices : 0
  Spare Devices : 0

         Layout : near=2
     Chunk Size : 512K

           Name : raidtest:0
           UUID : 922b875a:c2759fc2:576f394d:7fe333f6
         Events : 330

    Number   Major   Minor   RaidDevice State
       0       8        1        0      active sync   /dev/sda1
       5       8       17        1      active sync   /dev/sdb1
       2       8       33        2      active sync   /dev/sdc1
       4       8       49        3      active sync   /dev/sdd1

При загрузке без двух дисков, пишет, что не найден mduuid/922b875ac2759fc2576f394d7fe333f6

Answer 1

[Влад Животнев]

В общем-то да, при вылете двух дисков raid10 с некоторой вероятностью может потерять часть данных - так что это режим "защиты", он без двух дисков только в ro работает, емнип.
Крутите layout, но вообще от десятки, имхо, нельзя добиться того, чтобы он переживал вылет двух произвольных дисков. Если собрать в классический layout (1+0, 0+1) - то он будет переживать вылет двух дисков, если угадаете каких именно.

Comments

[pezzak]

Дело в том, что я знаю какие диски откажут. И эти диски в разных частях страйпа. layout - near2. В том то и вопрос, что при перезагрузке без этих двух дисков система не стартует

[Влад Животнев]

pezzak: near - это как раз лесенка по ману.

"the two copies of a datablock will likely be at the same offset on two adjacent devices."
Здесь не сказано ничего про то, что диски соберутся в страйпы/зеркала, просто блоки будут записаны в одинаковое место двух последовательных дисков.

Короче, если тебе нужен 1+0/0+1 - то и собирай их, а не 10-ку. В mdadm 10-ка не будет собирать рейды нижнего уровня с гарантией.

[pezzak]

Понял, ключевое здесь 'likely'

Answer 2

[Melkij]

В mdadm raid10 собирается не как страйп над зеркалом и не как зеркало над страйпом, а как единый массив, данные при этом размазываются и дублируются по принципу, указанному при создании массива опцией --layout, см. в man mdadm.

Грузился ли с деградировавшего массива во время моих экспериментов - не помню, но то что данные не терялись и массив продолжал работать при потере нескольких определённых дисков - это да.
Но near2 гарантирует целостность только при выходе одного диска. Второй - уже как повезёт.

Comments

[pezzak]

Спасибо, ознакомился с layout. И вопрос, все же остается, судя по картинке в near2 блоки данных зеркалируются на [1 и 2] диске и [3 и 4]. То есть, к примеру, 1 и 3 может отказать и должно работать?
www.ilsistemista.net/index.php/linux-a-unix/35-lin...

[Melkij]

Да, по идее near2 должен оставаться живым при выпадении любых не соседних дисков.

У вас проблема именно с загрузкой? Если на ходу сфейлить диски - то нормально себя массив ведёт, не разваливается?
/boot у вас на этом же массиве? Себе я размечаю /boot отдельным зеркалом по всем дискам. 100-200мб не жалко полностью отзеркалировать.

[pezzak]

Я в виртуалке тестировал, там нет возможности отключить жесткий диск.
Если через mdadm удалить два диска, то все работает.
/boot на том же массиве и сделан grub-install /dev/sda /dev/sdb/ /dev/sdc /dev/sdd

Answer 3

[Виктор Таран]

таки он не только в линуксе развалится, он развалится в любом раскладе если у вас с математикой уровня 1-2 класс нормально.

Comments

[pezzak]

Ткните пальцем, пожалуйста. Вот у нас два зеркала и сверху страйп. В каждом зеркале удаляем диск. Остается два зеркала с degraded и страйпом сверху. Не так?

[Виктор Таран]

у тебя два диска имеют разную иоформацию.
плюс каждый из них имеет зеркало.
При выпадение двух дисков с первой частью, или второй. Откуда по твоему он должен востановить данные?
Вот если у тебя выходит из строя 1 диск из 1 части и 1 из 2 то да будет работать.
А в остальных случаях данные потеряны.
Математика.
4.bp.blogspot.com/_O7m3lNdKY8g/S0UYLLPs3_I/AAAAAAA...

[Виктор Таран]

По картиинке, если выходит из строя диск 1, 4 и 1,3 и 2,3 и 2,4 то ты прав.
Но вот если выйдут из строя диски 1 и 2 или 3 и 4 то рейду пипец.

Answer 4

[Дмитрий]

Все зависит от последовательности сборки зеркала.
При схеме 0+1 вылет одного диска уже критичен. Если же у вас 1+0, то возможны варианты, когда вылетают два диска из двух разных массивов raid1.

Answer 5

[Юрий Б]

А если raid10 из двух дисков. (заморочился вместо raid1, т.к. в линуксе скорость чтения у софт raid10 в 2 раза выше чем просто raid1) и один вылетит, система в read only не свалится ?