Как произвести горячую замену дисков в RAID1 с помощью mdadm в Ubuntu Server 10.04?

Question

[multifinger]

Дано:

• сервер с возможностью горячей замены hdd
  
• 2 hdd
  
• ubuntu server 10.04, при установке был создан RAID1 для корневого раздела и раздела подкачки по мануалу с офф.сайта убунты не могу найти статью-оригинал, но вот тут liski.vsi.ru/ubuntu/index.php?page=33 описан аналогичный алгоритм установки
  

Вопросы:

• Как убедиться, что после выхода одного из дисков система останется работоспособной? Продолжить работать и перезагружаться
  
• Как заменить вышедший из строя диск без остановки системы?
  
• Как добавить «третьим» запасной диск, который будет автоматически/вручную задействован после выхода из строя одного из дисков
  
• Как настроить оповещение на email, о необходимости замены (выходе одного из дисков из строя)
  

Приведу свои соображения, до которых удалось додуматься самому:



1. чтобы убедиться — выдергиваем диск и смотрим как работает система… все ОК; перезагружаемся — все ОК. затем вытащенный диск нужно как-то включить обратно, чтобы он заработал и синхронизировался

(у меня не получилось: система не видит подключенный диск, в статье советуют: «Присоединяем новый диск. С помощью утилиты fdisk, создаем на нем соответствующие разделы: sdb1, sdb2 и sdb3 разделы. Маркируем их с помощью команды fdisk t, как fd.» вроде бы все просто, но хотелось бы ст примером, а также хочется автоматизировать разбитие нового диска, чтобы не делать этого вручную при каждой замене… можно скрипт написат или можно это автоматизировать?)



1.1. чтобы система могла перезагружаться с обоих дисков загрузчик grub должен быть установлен на обоих дисках: установщик убунты с версии 9.04 вроде делает это сам (по специальной просьбе), а вот новый диск нужно дополнять загрузчиком вручную или опять же скриптом автоматизации



2. собственно, как заменить диск: подмонтировать, разбить, добавить в массив с помощью sudo mdadm –add /dev/mdN /dev/sdbM добавить на диск загрузчик



3. Запасной диск подключается точно также как и обычный, но с меткой «запасной», т.е. он не испрользуется, но готов начать работать в любой момент… ну на синхронизацию времени наверное уйдет еще…

Comments

[multifinger]

еще интересно, как отслеживать состояния дисков. особенно в момент синхронизации, когда мы только подключили новый диск… т.е. предположим, что наш сервер постоянно производит запись на диск, как тогда второй диск будет инициализирован? нужно ли прекращать работу программ в момент синхронизации? как это влияет на производительность?

[multifinger]

также остается неясным, как включить диск, если его нет в /dev/sd[a-z]

Answer 1

[Григорий]

Статья на xgu

Диск в массиве можно условно сделать сбойным, ключ --fail (-f):
%# mdadm /dev/md0 --fail /dev/hde1
%# mdadm /dev/md0 -f /dev/hde1

Сбойный диск можно удалить с помощью ключа --remove (-r):
%# mdadm /dev/md0 --remove /dev/hde1
%# mdadm /dev/md0 -r /dev/hde1

Добавление нового диска
Добавить новый диск в массив можно с помощью ключей --add (-a) и --re-add:
%# mdadm /dev/md0 --add /dev/hde1
%# mdadm /dev/md0 -a /dev/hde1

И, если нужно обновить mdadm.conf

Демон dmadm сам умеет слать письма о состоянии raid.

Для того, что бы система могла грузится с программного массива при создании массива надо указать --metadataversion=0.90.
Я делаю 500mb под boot (md0) остальное md1, далее lvm.
Соответственно fdisk'ом надо разбить харды одинаково.

По «запасному диску» ничего сказать не могу. Но по-моему mdadm и 1 raid может построить на 3 дисках. За результат не ручаюсь )))

Comments

[Андрей Буров]

можно и на трех дисках сделать RAID1
Перед «горячим» выниманием диска советую сделать:
echo 1 > /sys/bus/scsi/devices/targetX\:0\:0/X\:0\:0\:0/delete (отключение питания)

[Melkij]

С metadata1.2 так же отлично загружается.

[Melkij]

А запасной диск делается автоматически.
Если в массив на 2 диска сделать --add третьего — третий будет добавлен как запасной. Но синхронизироваться будет только в случае умирания одного из рабочих.

Потому, если задача — ещё больше защиты от смерти винта и уменьшение даунтайма — расширяйте массив на количество дисков. Благо raid1 расширяется без проблем.

Answer 2

[shadowalone]

Для того чтоб скопировать таблицу разделов на новый диск, и не париться с fdisk, есть утилита sfdisk

Comments

[multifinger]

спасибо, sfdisk -d /dev/hda | sfdisk /dev/hdb вот такой командой структура разбиения диска копируется с одного на другой…

[multifinger]

вот так $ watch cat /proc/mdstat удобно смотреть процесс синхронизации