Из-за ошибки диска на СХД IBM Storwize v7000 pool, volume, mdisk с состоянии offline, как можно снять данные или вернуть в состояние online?

Question

[mordar1984]

Итак IBM Storwize v7000 pool, volume, mdisk offline. Error 1680, 1685, 1620, 1840. На СХД по очереди посыпалось несколько дисков, замены сразу не было, это привел к тому что очередной вылетевший диск стал камнем преткновения. На томах лежали данные, больше 80% и это все привело к тому что система выключила оба имевшихся тома во избежания потери информации. Диск сбойный поменять с помощью GUI не могу, потому что система ругается на то что он завязан на сбойный MDisk и Volume. По итогу непонятно как вернуть это все в строй, дабы можно было снять кое какую информацию. Операции по восстановлению висят, не понимаю куда копать.

Comments

[tukreb]

А что за RAID? надеюсь не 5, а то тогда можете менять работу :))

Была похожая ситуация с интелом, вылетел 1 диск и 2 других ушли в защиту.

Решение, было удалить весь рейд и воссоздать его с 0 (должны записать все текущие данные, чтобы их повторить), но без инициализации и ребилда. Процедура очень опасная, если не уверены, то поблочно скопируйте каждый диск на резервный, чтобы экспериментировать с ними.

[mordar1984]

Как раз 5 у меня и есть. Работу я уже другую нашел))) Но тем не менее хочеться разрулить эту тему, а опыта маловато.
И резервов у меня нет, да и непонятно как копировать.

[tukreb]

mordar1984, с RAID5 у вас нет шансов, это мёртвый RAID, равен RAID0, но проигрывает по скорости, можете забыть от данных, либо готовьте несколько миллионов на профессионалов.

НИКОГДА не делайте RAID5 - это правило было выведено кровью тысячью админов.

[Ava256]

tukreb, а в чем проблема raid5 ? Вылетел один диск, поменяли, работаем дальше.
Про бэкапы не забываем.
Автор как раз пишет, что замены дисков сразу не было и бэкапов по всей видимости тоже.
Вопрос, кто в этом виноват? Любое, даже самое надежное оборудование выходит из строя или стоит как дом.И на 6-м рейде если выйдет из строя два диска и вы их замените, то в процессе ребилда может отказать ещё один и будет та же ситуация.

[Ava256]

mordar1984 у вас же идет ребилд на этом томе, он движется? Дождитесь окончания ребилда если он идет и смотрите дальше.

[tukreb]

Ava256, проблема в RAID5 и да 6, что вы ничего не выигрываете. Тогда лучше делать RAID0, разумеется бэкапить нужно, в любом случае

А вообще давно есть лучшее решение ZRAID, правда вряд ли на его железки это возможно завести. Крупные компании любят делать вендор лок и блокировать HBA/JBOD режим.

[mordar1984]

Ava256, Ребилд висит на 3% уже последний месяц. Ни отменить ни повлиять я на него не могу. Сценариев по работе с данной системой я не нашел, а профессионалов которые мне могли бы помочь у нас нет. Я задал вопрос в пару серьезных контор которые способны помочь, но пока ответа не получил. А в конторе давят меня, найди-укради-роди. Бекапа увы не было, некуда делать. Скупой платит дважды в общем(

[Zettabyte]

Ava256,

у вас же идет ребилд на этом томе, он движется?

А вы хорошо знакомы с панелью управления Сторвайз, с той точки зрения, что уверены, что на последнем скриншоте всё хорошо?
Спрашиваю, т.к. с живыми IBM Storwize работал не так много и всех деталей их панели на зубок не знаю.

Дождитесь окончания ребилда если он идет и смотрите дальше.

Вопрос в том, как rebuild соотносится с висящей рядом заменой диска из того же iSCSI target:
Прошла она или нет? По 0% - не похоже.
Как именно сейчас идёт ребилд? Не с заполненным ли нулями (или сторонними данными) новым диском?
Когда вообще эта замена HDD возникла? В процессе перестроения или нет?

[mordar1984]

Zettabyte, дело было так. Ночью система вывела в оффлайн оба тома. С утра я начал разбираться с проблемами. Система дала мне перевставить по процедуре 54 сбойный диск, после чего вывела сказала что диск ОК и выведа mdisc 3 и оба тома в онлайн. После чего через 20 минут все вернулось на круги своя, диск выпал с ошибкой и тома тоже ушли в оффлайн. Вот где то в этот момент возник ребилд (точно не скажу когда). Я же этого не заметил. Но система сбойный диск не давала поменять уже. Тогда я попытался ручками сделать swap диска, заменив сбойный на запасной рабочий, который был в системе доступен. Вот с тех пор все и висит.

[Ava256]

mordar1984, Если вы потеряли два диска из тома, то скорее всего сделать ничего нельзя, так как это Raid 5.
Там же есть где-то event logs, можно посмотреть когда начался ребилд и что потом произошло.Если начался ребилд, а затем отказал другой диск, то все.Приехали.

[Пума Тайланд]

Так если у вас два тома рейд5 и в обоих вылетели по два диска вы получается потеряли все данные

Answer 1

[Zettabyte]

система выключила оба имевшихся тома во избежания потери информации

Прислушайтесь к совету SAN-а - на данный момент она действует разумнее всех. IBM не зря были корифеями отрасли.

На СХД по очереди посыпалось несколько дисков, замены сразу не было

В зависимости от того, что с дисками, увы, ситуация может оказаться грустной.

По итогу непонятно как вернуть это все в строй, дабы можно было снять кое какую информацию

С учётом описания симптомов, к сожалению, сомневаюсь, что получится вернуть систему в работоспособное состояние.

Если нужно не просто рабочее хранилище, а информация со Storwize, то стоит сфокусироваться на задаче восстановления данных. Почти наверняка потребуется разбирать проприетарный node mapping, лежащий на флэше, с этим разберётся даже не каждый инженер с опытом, самостоятельно с наскока точно не получится.

Выбирайте специалиста по восстановлению информации, максимально толкового. Небольшие конторы с рынков и компьютерные сервисы - однозначно мимо, они такие SAN IBM вряд ли вообще видели.
А тут ещё и диски SAS - они выходят из строя реже, но когда падают, заметно чаще намертво или около того.

Ещё не гуд, что вышло из строя уже несколько дисков - если они из одной партии, то может быть партия не очень, либо условия эксплуатации, либо транспортировка, или подобное. Т.е. можно ожидать сюрпризов и от других дисков. С учётом этого, лучше сразу обращайтесь к лучшему профессионалу, которого сможете найти, не играя в рулетку с несколькими попытками.

С вашей стороны нужно обеспечить отсутствие записи на диски, т.е. в идеале всё выключить. Если вышедшие из строя диски у вас сохранились, они могут пригодиться.

Comments

[mordar1984]

Спасибо за развернутый ответ. Диск сейчас мертвый только один, остальные заменены и работают. Проблема была именно в том что их несколько накопилось и это привело к конкретной ситуации, но я застрял на одном диске.

[Zettabyte]

mordar1984,

Диск сейчас мертвый только один, остальные заменены и работают

Вот это звучит неоднозначно.
Диски-то всегда можно заменить, даже если их пять штук выпадет. И они будут работать, т.к. новые. Но доступа к данным не будет.

У вас серьёзное хранилище, из-за этого оно требует соответствующего отношения.

Если вы уверены, что делали всё правильно и потерь данных в процессе не было, то это одна ситуация, точно не самая плохая.

Если нет, то последнее предложение лишается логического смысла:

Проблема была именно в том что их несколько накопилось и это привело к конкретной ситуации, но я застрял на одном диске.

и проблема именно в выходе из строя нескольких дисков, а момент, когда их число стало критическим - не камень преткновения в виде одного диска.

На скриншотах не совсем понятно для какого количества дисков идут ошибки, но выглядит так, что для двух.
RAID 5, даже на IBM Storwize такого пережить не может. Восстановление данных возможно только через виртуальную реконструкцию массива с образом(-ами) вышедшего из строя диска(-ов).

[mordar1984]

Zettabyte, Второй диск не участвует в работе этого тома. Только 54. Вот для полной картины:

Zettabyte, Второй диск не участвует в работе этого тома. Только 54.

дело было так. Ночью система вывела в оффлайн оба тома. Было 4 диска неробочих. С утра я начал разбираться с проблемами. Система дала мне перевставить или заменить все диски по процедуре, после чего вывела сказала что диск ОК и выведа mdisc 3 и оба тома в онлайн. После чего через 20 минут все вернулось на круги своя, диск 54 выпал с ошибкой и тома тоже ушли в оффлайн. Вот где то в этот момент возник ребилд (точно не скажу когда). Я же этого не заметил. Но система сбойный диск не давала поменять уже. Тогда я попытался ручками сделать swap диска, заменив сбойный на запасной рабочий, который был в системе доступен. Вот с тех пор все и висит.

[Zettabyte]

mordar1984,

Второй диск не участвует в работе этого тома. Только 54

Вот сейчас непонятно было.
А что тогда означает третий скриншот, где говорится, что и 54 и 89, хоть и в разных полках, но оба - member drives?

дело было так

Более детальное описание - к месту. Пробежался по нему - надо думать.
Сейчас уже рабочее время поджимает, постараюсь заглянуть сюда поздно вечером, заодно может другие участники что-то по делу добавят.

[mordar1984]

Zettabyte, благодарю за помощь. Там в комментах народ пока учавствует.

Answer 2

[Ava256]

Если вы потеряли два диска из тома, то скорее всего сделать ничего нельзя, так как это Raid 5.
Там же есть где-то event logs, можно посмотреть когда начался ребилд и что потом произошло.Если начался ребилд, а затем отказал другой диск, то все.Приехали.