Сбой на ФС ext4 во время ребилда — проблема в железе или моих кривых руках?

Question

[CityCat4]

Есть сервер на линухе (ведро 5.15.82). Bare-metal установка, Supermicro X9DRD-iF, 48G рамы, два ксеона 2620, адаптек 5805, в котором шесть дисков в RAID6, массив 18Tb.
Пахал себе сервак свои задачи больше года, но потом у него как обычно вдруг сдох один из винтов. Ну сдох и сдох, массив подхватил хотспар и ушел в ребилд, я в отпуске, инженер ничтоже сумняшеся вынимает сдохший, ставит новый.

Вечером я захожу и ох#еваю - на разделе с данными (для которых собственно и RAID) - сбой! Ошибки ФС, причем множественные! Вот такие, например:

Oct 15 20:00:23 nakivo kernel: EXT4-fs error (device sdb1): ext4_find_extent:929: inode #3736241: comm bh: pblk 3435773917 bad header/extent: invalid magic - magic b074, entries 31441, max 60113(0), depth 39622(0)
Oct 15 20:00:23 nakivo kernel: EXT4-fs error (device sdb1): ext4_find_extent:929: inode #3736241: comm bh: pblk 3435773917 bad header/extent: invalid magic - magic b074, entries 31441, max 60113(0), depth 39622(0)
Oct 15 20:00:30 nakivo kernel: EXT4-fs error (device sdb1): ext4_ext_remove_space:2993: inode #3738362: comm bh: pblk 3281567223 bad header/extent: invalid magic - magic a25e, entries 52767, max 15585(0), depth 38526(0)
Oct 15 20:00:30 nakivo kernel: EXT4-fs error (device sdb1) in ext4_setattr:5523: Corrupt filesystem

И таких ошибок херова туча. (В это время идет ребилд массива). Я тихо паникую - на массиве ценные данные - сервак перегружаю, ухожу в single, стартую fsck. fsck идет несколько часов, валит туеву хучу ошибок (а ребилд все идет). Наконец fsck заканчивается, все хорошо, монтирую - данные на месте, хотя битые они или нет - непонятно. Стартую программу работы с данными (через некоторое время) - она не идет - опять на разделе ошибки! (ребилд к этому времени закончился). Опять стартую fsck, опять куча ошибок (но много меньше), опять успешно.
Запускаю программу - заработало.

Худо-бедно проскрипели полтора месяца, множество данных потеряно, но слава Богу они восстановимы. И вот позавчера - сдох другой диск. Опять ребилд, опять... правильно - ошибки на ФС, опять fsck на несколько часов, опять потеря данных, опять до тех пор, пока ребилд не закончился - сбои на ФС (возможно, если бы я тупо дождался завершения ребилда - и fsck не понадобился бы)

Собственно вопрос - почему так и можно ли что-то сделать, чтобы так не было? Мне всегда казалось, что RAID для того и нужен, чтобы мне (пользователю) было поуху состояние массива - оптимальный он или ребилдится. Что собственно я и плачу за то, что покупаю контроллер, который сам займется ребилдом массива и параллельно будет работать с данными - выходит я неправ и это не так? Или это касается только линуховых дров на адаптек и их нужно настраивать?

Потому что так получается что RAID, собранный для надежности - не дает нифига никакой надежности. Вынести винты с адаптека и собрать массив через md - наверное не хуже было бы.

Или я просто упускаю что-то существенное?

Comments

[SunTechnik]

Поведение однозначно не нормальное.

Вот тут упоминается нечто похожее
https://hardforum.com/threads/adaptec-5805-raid-6-...

Но что является причиной и как исправлять - непонятно.

Как вариант - посмотреть, были ли обновления fw контроллера, и какие ошибки исправлялись..

[CityCat4]

SunTechnik, фирмварь точно никто не обновлял, причем возможно там вообще стоит лохматая-прелохматая версия. Вот что он говорит о себе:

[    3.621398] AAC0: kernel 5.2-0[18948] Apr 13 2012
[    3.698472] isci 0000:06:00.0: OEM parameter table found in OROM
[    3.810214] AAC0: monitor 5.2-0[18948]
[    3.866872] AAC0: bios 5.2-0[18948]
[    3.920965] isci 0000:06:00.0: OEM SAS parameters (version: 1.0) loaded (platform)
[    3.977276] AAC0: serial 0D141155EC7

UPD: На сайте адаптека - это последняя версия

[Ziptar]

Потому что так получается что RAID, собранный для надежности - не дает нифига никакой надежности

RAID это инструмент для достижения высокой доступности, а не надежности.
А ребилд это всегда стрессовая ситуация с повышенным риском потери данных. И лишний раз в этот момент вообще лучше не дышать рядом.

Вынести винты с адаптека и собрать массив через md - наверное не хуже было бы.

Сугубо на мой личный взгляд чисто программный рейд всегда надёжнее аппаратного. И восстанавливать проще, ежели что.

[shurshur]

Аппаратный рейд - это однозначно повышенный риск. Потому что управляется прошивкой, написанной неизвестно как и неизвестно насколько глючный. В случае с софтверным хотя бы его много народу протестировали, а код открыт и позволяет понять, что и как там хранится и обрабатывается.

Была серия старых adaptec в одинаковых серверах ещё в нулевых, с ними регулярно были проблемы при ребилде. То есть контроллер делает rebuild, диски активно крутятся, а status с контроллера может в любой момент начать показывать, что он idle. И естественно надёжного способа понять, что всё идёт хорошо или уже закончилось нет.

Ещё хуже было однажды при миграции с ребилдом. Там ребилд всё-таки упал. И файловая система превратилась в макароны, в которых части дисков была в RAID0, RADI1, RAID5 и ещё вопрос был где границы этих частей. Товарищ сидел медитировал над статьёй в Википедии о RAID5 и переставлял блоки в bmp-файлах, добиваясь нормальной картинки, чтобы понять, как идут блоки в их реализации. Спойлер: ни один из вариантов в Википедии и с других сайтов не подошёл. У них своё, скрепное и нитакойкаквсе. В итоге сошлось всё на 98%. Отдельным печальным обстоятельством оказалось, что бэкап был несколько месяцев сломан и никто этого не заметил...

[CityCat4]

Ziptar, shurshur, М-да, спасибо! Печальны наши выводы однако... То есть synology-то вовсе не такая уж и дура, что не ставит в свои полки аппаратные контроллеры, а делает их на md? А ESXi требует аппаратный контроллер просто из желания раскрутить на больше денег, надо полагать?

Блин, тут уже есть над чем подумать. Спасибо, парни.

[Ziptar]

CityCat4, вмварь просто не озаботилась своей реализацией программного рейда, там же давно уже никакой лини в недрах нет.

Answer 1

[Zettabyte]

(В это время идет ребилд массива). Я тихо паникую - на массиве ценные данные - сервак перегружаю, ухожу в single, стартую fsck. fsck идет несколько часов, валит туеву хучу ошибок (а ребилд все идет).

На первый взгляд спросонья, дело не в железе и не в радиусе изгиба рук.

Мне думается, что решение запустить fsck во время ребилда, принятое в состоянии аффекта, с определённой вероятностью было неразумным.

У меня сравнительно небольшой опыт эксплуатации серверного железа под линуксом, но в целом я склоняюсь к точке зрения, что если нужно что-то восстановить, сохранить, сберечь, fsck не сильно лучше его виндового собрата (checkdisk), который обращается с данными, аки годзилла.

У нас были заказы на восстановление RAID, по которым в т.ч. прошлись fsck.

Исправление же файловой системы (т.е. её изменение) во время rebuild вообще отдаёт мистикой.
Насколько чётко контроллер сумеет такое отработать? Не начнёт ли фсчк "исправлять" живые данные на основе нулей или чего-то ещё, появившегося в процессе? Не возникнет ли при этом циклов "перестроение-исправление"? И так далее.

можно ли что-то сделать, чтобы так не было?

Думаю, что в идеале было бы дать рейду перестроиться с минимумом дополнительной нагрузки, или вообще без неё, раз вы подключались вечером.
При этом понятно, что нерабочего времени на full rebuild может быть недостаточно, либо система боевая и даунтайма не терпит.

P.S.
Нет худа без добра: посмотрели что реально происходит в околокритической ситуации, лишний раз подчеркнули для всех важность резервного копирования, цвет волос, надеюсь, тоже сохранили :)

Comments

[RStarun]

Ну да, нагрузка на диски в raid во время ребилда может быть не очень хорошей идеей.
В зависимости от скорости дисков можно получать таймауты в неожиданных местах.
Сам по себе 5805 тоже далеко не новая модель, трудился наверное годы и годы. У него есть одна особенность - небольшой и отваливающийся со временем радиатор. Он вполне может перегреваться и глючить. Тип корпуса не указан, но в документации к нему указано что в сыром виде он применим в рековых корпусах с хорошим обдувом. А если корпус обычный, башенный, то нужно ставить на него вентилятор (есть где-то в документашках даже парт номер).
И как раз в момент ребилда нагрузка на него увеличивается (и нагрев).

[CityCat4]

RStarun, Ну, тут по модели матери можно угадать, что корпус рэковый, двухюнитовый. Да, пахал конечно же он все это время, лет семь серваку вообще наверное...

[CityCat4]

что в идеале было бы дать рейду перестроиться с минимумом дополнительной нагрузки

Я ничтоже сумняшеся полагал, что массиву пофиг, идет ребилд или нет - в логическом отношении. То есть, вне зависимости от того, идет ребилд или нет - данные на файлухе должны быть правильными и ими можно пользоваться, читать как минимум.

Получается, что нет? Что, если одному из дисков хана, массив в ребидле - программу стопить и сосать лапу примерно сутки (время на ребилд примерно сутки)? Внезааааапно...

Тогда несколько вопросов, возможно ламерских.

Накуа тогда нужен RAID-контроллер ваще? Выходит synology права, послав его на юга и собирая свои рейды через md? Я всегда считал, что RAID-контроллер (который стоит таки немало плюс кабеля к нему и все такое) - это отдельный аппаратный процессор ввода-вывода, который:
- берет на себя обсчет ввода-вывода дисков, разгружая CPU
- позволяет мне "не знать" что идет ребилд - то есть он сам ребилдит массив, а данные на массиве доступны и правильны, хотя бы на чтение.
Выходит я ошибался и второго пункта нет? Или может быть это решится заменой типа файловой системы - на btrfs например?

Просто у меня внезапно появилось желание демонтировать адаптек и собрать рейд на md. Я всегда считал md дишманом, недостойным зваться энтерпрайзом - а тут получается, что я сам себя обманываю, просто усложняю себе жизнь (мониторинг состояния дисков в адаптеке - тот еще танец с бубном)?

Answer 2

[Максим Корнеев]

проблема скорее всего в вашей голове. там слишком мало знаний и слишком много брани.
на подобные выражения ни малейшего желания отвечать по существу. тем более что ответом будет пересказ учебника.

Comments

[historydev]

Да ты не особо то и решающий, 135 ответов и 6% отмеченных.

[CityCat4]

Ну так просвети недостойного, гуру ты наш афигенский. Обьясни где и в чем я неправ, хотя бы (уж я и не говорю о том, чтобы Ваша Светлость подсказала, что нужно сделать).
Увы, но ведь не обьяснишь же... Сольешься. Хотел умным показаться, но что-то пошло не так...