Как правильно заменить винчестер в программном RAID 5?

Question

[usja]

Добрый день, товарищи.
Возникла проблема:
На hp xw4600 был собран программный RAID 5 на 4 винчестерах по 250 гб. Один винчестер вышел из строя. Сейчас система работает в degraded. Винчестер хочу заменить. На замену есть на 500 гб. Понятно, что из них будет использовано только 250. Ну это не страшно.

Подскажите, как правильно его заменить, чтобы система не полетела. Установлен Centos6. RAID собирался функционалом hp xw4600.
Если через madm подключить новый винт – всё выйдет или нужно через утилиту hp?

[root@server ~]# mdadm -Q --detail /dev/md0
/dev/md0:
        Version : imsm
     Raid Level : container
  Total Devices : 3

Working Devices : 3


           UUID : ad8819fc:eee231fb:489cbf9d:643472c6
  Member Arrays : /dev/md/Volume0

    Number   Major   Minor   RaidDevice

       0       8        0        -        /dev/sda
       1       8       16        -        /dev/sdb
       2       8       48        -        /dev/sdd

Как видно, полетел /dev/sdc. Отключил его. Винт нашел, какой не работает.

Очень прошу подсказать, как восстановить RAID заменив винчестер.

Answer 1

[Армянское Радио]

Делаете бэкап данных. Обязательно. RAID5 может сдохнуть во время ребилда.

Делаете сдохшему диску fail
mdadm --manage /dev/mdX --fail /dev/sdX
Делаете сдохшему диску remove
Заменяете накопитель, если интерфейс позволяет. В противном случае, выключаетесь и меняете диск.
Делаете новому диску add

Не забывайте по дороге смотреть в /proc/mdstat

Comments

[usja]

Можно чуть подробнее? Насколько я понял, диск уже сам уже не виден в mdadm. Раньше, было 4: 3 рабочих, 1 не рабочий. Сейчас только 3 рабочих.

Бэкапы все есть, спасибо. Заменить физически – нет проблем.
Винчестер же не разбит. Если его вставить и сделать add, он автоматом подключится с правильным разбиением?

[Армянское Радио]

usja: Процесс восстановления начнется автоматически, после команды add.
А у вас хватило энтузиазма дернуть диск не удаляя? Вы бы хоть погуглили...
Что пишет cat /proc/mdstat

[Армянское Радио]

usja: Как я вижу, у вас raid поверх дисков, а не поверх разделов. Разбиение не требуется.

[usja]

Армянское Радио: Я его уже выдернул когда он не виднелся в madm.
Когда только полетел – он светился. Вчера, после ребута, сервер не хотел заходить в биос…
После танцев с бубном и отключении от питания нерабочего винта – сервер запустился. Потом madm показывал 3

[root@server ~]# cat /proc/mdstat
Personalities : [raid6] [raid5] [raid4]
md126 : active raid5 sda[2] sdb[1] sdd[0]
732588032 blocks super external:/md0/0 level 5, 64k chunk, algorithm 0 [4/3] [UU_U]

md0 : inactive sdd[2](S) sdb[1](S) sda[0](S)
7068 blocks super external:imsm

unused devices:

[Армянское Радио]

usja: Значит просто втыкайте диск и делайте add. СТРОГО ПОСЛЕ БЭКАПА!

[usja]

Армянское Радио: добавлять в тот же sata разъем или другой?

[Армянское Радио]

usja: Разницы нет - вы уже перезагружались. Букву потом найдете? До добавления сделайте cat /proc/partitions. Запомните увиденное. Потом прицепите диск. Посмотрите /proc/partitions еще раз. Это при условии, что у вас корзина с горячей заменой.

[usja]

Армянское Радио: нет. там корзины нет.. обычный системник. Букву да, найду. Помню наизусть

[usja]

Кстати, тут sdc есть….
[root@server ~]# cat /proc/partitions
major minor #blocks name

8 16 244198584 sdb
8 32 244198584 sdc
8 0 244198584 sda
8 48 976729088 sdd
9 126 732588032 md126
259 0 512064 md126p1
259 1 732075648 md126p2
253 0 52428800 dm-0
253 1 4046848 dm-1
253 2 675598336 dm-2

[Армянское Радио]

usja: Так у вас померший винт подключен сейчас, или не подключен?

[Руслан Федосеев]

/me всегда интересовало, зачем при работе с рейдами делать бекапы перед любой операцией... С таким подходом уж лучше не использовать рейд вообще ;)
Ни разу не убивал рабочий рейд заменой диска. Что я делаю неправильно?
Суммарно на рейдах лежит 20Т данных. Бекапы есть, но они делаются не ради замены диска.

[Армянское Радио]

Руслан Федосеев: Это raid5. Статистика учит, что вероятность вылета еще одного диска во время ребилда пятого рейда - более 70%. Вам просто везло.

[Армянское Радио]

usja: Руслан Федосеев: И да, raid5 сейчас не рекомендован к использованию в продакшене.

[usja]

Армянское Радио: не подключен.

[Армянское Радио]

usja: А сколько дисков подключено? Вероятнее всего, буква сдвинулась. Хорошей практикой является вместо букв использовать /dev/disk/by-id.

[usja]

Армянское Радио: подключено 3 +1 внешний usb

[Армянское Радио]

usja: Ну вот sdc и есть ваш внешний usb. Так что добавляя диск убедитесь, (лучше по /dev/disk/by-id), что не напутали с буквами

[Руслан Федосеев]

в продакшене 10 рейд и 50 рейд. И на одном сервере 5-й, но там надо исключительно место - netflow хранилище...

[usja]

внешний 8 48 976729088 sdd

рейд:
8 16 244198584 sdb
8 32 244198584 sdc
8 0 244198584 sda

по 250 гб.
Спасибо за совет. Буду пробовать

[usja]

После сбора, если все пройдет хорошо, 5 рэйда. Его же, через mdadm можно перевести в 10 рэйд? Или лучше забэкапиться и всё поднять с нуля?

[Армянское Радио]

usja: Его не получится превратить просто так в 10 рейд по той простой причине, что размер 10 рейда из четырех накопителей равен двум дискам, а в пятом рейде - трем дискам.
Если хотите переехать на 10 рейд, просто забэкаптесь и соберите 10 рейд.

[O Di]

Я сюда такую штуку добавлю - у нас на СХД с 10 (кажется, но не 5 и 6) рейдом полетел 1 диск, запустился ребилд и ... мы потеряли почти все данные, коллегам пришлось восстанавливать из резервных копий.

[usja]

O Di: спасибо

[Армянское Радио]

O Di: Всякое бывает. Главная цель RAID - пережить отказ нескольких дисков с возможностью горячей замены. Бэкапы в любом случае нужны. Для действительно критичных данных, нужна онлайновая репликация на другое хранилище и фейловер. Хоть бы даже и DRBD.

[usja]

Армянское Радио: у меня на нем веб-сервер. Порядка 30 сайтов. Все бэкапы делаются и автоматом заливаются в дропбокс и ручками на внешний винт. Так что, если сдохнет – нужно будет просто развернуть все сайты.