RAID10: Как ремапить софтварный RAID10, если «вылетел» один из дисков? Как расчитать скорость ремапа RAID10?

Question

[gremlintv2]

1) Как ремапить софтварный RAID10, если "вылетел" один из дисков? Возможна ли потеря консистентности данных?
2) Как расчитать скорость ремапа RAID10? - всего 10 дисков по 10ТБ (2 страйпа по 50ТБ)
3) Что будет быстрее - восстанавливать 90ТБ данных, через сеть 10Гб/с на RAID0 или восстанавливать 45ТБ данных через ремап RAID10 (2 страйпа по 50ТБ) в случае потери дисков?

Answer 1

[Rsa97]

1. Подключить новый диск, ввести его в массив или объявить spare-диском. Зависит от ОС и софта.
2. Скорость зависит от использования массива в данный момент. Предел - скорость записи на отдельный HDD.
3. При ребилде восстанавливаются данные только одного HDD, то бишь будет копироваться 10Тб с одного HDD на другой, если вы, конечно, не умудрились уронить сразу половину дисков.

Comments

[gremlintv2]

1) Centos-7
2) он не используется в данный момент
3) Но вылетел то страйп вместе с 10ТБ диском? Или я не прав?

[Melkij]

1) mdadm /dev/md? -f /dev/sd? ; заменяете диск ; mdadm /dev/md? -a /dev/sd?
операция штатная, если не ошибиться в именах устройств,то дальшележащая файловая система не узнает, что что-то вообще происходило.
2) фактора два:
- надо записать объём данных равный размеру этого тома. То есть 10тб / среднюю скорость последовательной записи
- чтобы было что записать, это что-то сперва надо прочитать. Если у вас layout дефолтный near2 - то 10тб / скорость чтения одного парного диска. То есть зависит от нагрузки на оставшийся парный диск, ведь информацию надо сперва прочитать. Для offset и far - блоки будут размазаны по всем дискам и соответственно больше дисков будет использоваться для чтения. Кроме совсем загруженных случаев упрётся в скорость записи на новый диск.
3) linux raid10 нельзя рассматривать как зеркало поверх страйпа или страйп поверх зеркала. Это один массив (а для разных layout и пишется по-разному). Ядро отлично понимает, что если выпал один диск - только блоки которые должны быть на нём и надо восстанавливать при ребилде.

[gremlintv2]

Melkij, привет

Решил проверить, как быстро будет заремаплен один сбойный диск в RAID10. Для этого:

1) Для чистоты эксперимента. Затер часть диска сначала нулями:
dd if=/dev/zero of=/dev/sda bs=1000M count=1000
затем рандомом

dd  if=/dev/urandom of=/dev/sda bs=1000M  count=1000

2) Удалил диск с масива:

mdadm /dev/md0 -f /dev/sda1
mdadm /dev/md1 -f /dev/sda2

3) После ребута попытался восстановить:

mdadm /dev/md0 -a /dev/sda1
mdadm /dev/md1 -a /dev/sda2

Естественно на что мне отчечает:

mdadm: stat failed for /dev/sda1: No such file or directory

Так как затерта таблица раделов.

Вопрос: какие действия нужно предпринять чтобы заремапить данный диск?

Как я себе это представляю:
1) Нужно восстановить таблицу разделов с дублирующего диска(из соответствующего сэта):

sgdisk -R /dev/sda /dev/sdb
sgdisk -G /dev/sda

2) Запускаю ремап:
mdadm /dev/md0 -a /dev/sda1
mdadm /dev/md1 -a /dev/sda2

Будет ли при этом сохранена консистентность данных?

[Melkij]

да, делаете разметку на диске какую надо и добавляете в массив. Для raid1 часто это системный массив, так что плюс не забыть поставить загрузчик.

Поскольку вы сначала испортили данные на диске (не сам диск) и только потом его удалили с массива - возможно есть варианты. Код реализации в ядре не смотрел. Возможно это ошибка пилотирования и ядро верит что рут знает что делает.
Если сначала испортить диск - то подсистема позаботится о сохранности данных.