Linux, поведение файловой системы подмонтированной с опцией errors=continue?

Question

[Максим Сандаков]

Добрый день
Имеется следующая проблема, есть сервер с дисками, подключенными через raid контроллер, используется под запись архивов видеонаблюдения, файловая система ext4, изредка какие-то диски чудят и система крашится, восстанавливается ребутом сервера. Чтобы хотя бы не крашилось совсем и была возможность удаленно подключиться ребутнуть смонтировал раздел с опцией continue, но теперь я не знаю как отслеживать состояние раздела, чтобы настроить оповещение или скрипт на перезагрузку. Раньше бы, чтобы не изобретать велосипед просто купили бы новые диски, но в текущей ситуации это очень дорого...

Answer 1

[rPman]

какой raid? сколько дисков? какой объем дисков?

изредка какие-то диски чудят и система крашится

от бедблоков система не должна крашиться!
Может падать приложение для записи видео, но его можно перезапускать и это быстрее чем всю систему ребутать.

если же происходит именно падение на уровне ядра, то я настоятельно рекомендую убрать из схемы raid контроллер или использовать его исключительно как контроллер для подключения дисков, а raid организовать программный, так как возможно проблема в нем а не в дисках

Еще, достаточно часто, причиной сбоев работы дисков могут являться кабели, лично я уже дважды с таким сталкивался, причем диск вел себя как появление бэдблоков, стучал головками, а в smart была куча dma error.

в общем советую сначала разобраться, что именно сбоит.

Comments

[Максим Сандаков]

RAID 50, 24 диска по 1 Тб. От падения ядра избавился, как перевел в continue(хотя именно сама система на других дисках и на другом разделе). RAID переделать не получится на текущий момент, ибо это пропажа всех клиентских записей. По той же причине вообще его отключать надолго нельзя, ситуация патовая. Конечно самое логичное это устранить причину, а не бороться с последствиями, но пока с первым не совсем все понятно необходим какой-то костыль на время.

[rPman]

Максим Сандаков, да такой сетап сложно будет чинить, я почему то подумал про другое
ума не приложу как смена режима работы рейда убрала падения ядра но однозначно выглядит как железная проблема именно с контроллером

что хоть в логах было

[Андрей Смирнов]

Максим Сандаков, а теперь стало боле менее понятно - ваш Raid контроллер подвисает на старте или по какой то ещё причине идёт задержка. Вы выставили режим, что это не критично и возможно это единственный рабочий вариант для вашей сборки. К примеру что то подобное есть в сетевом протоколе nfs, когда сетевой диск может отвалиться не руша систему и потом подцепиться, когда сеть восстановится.

Answer 2

[Виктор Таран]

рейд контроллер не нужне для видеонаблюдения от слова совсем.
Тем более если у вас проблема с апаратным решением.
К записи видео больше требований по отказоустойчивости нежеле по системе кеширования скорости доступов к данным и тд.
И не забыайте что апаратный рейд это тот же софтверный только в железке с отдельным камнем, поскольку процесс сам по себе требует совтверного решения.
так что это отдельный софтверный комплекс не более
не путайте его с дискретной видеокартой это немного другое.
Так что софт вполне себе нормальное решение тем более под вашу задачу.
Если ваша задача НЕ освоить бюджет.
Общее же i-o системы в таком решение вообще не важно поскольку оно должно заниматься только видео.

Answer 3

[Андрей Смирнов]

Аппаратный RAID это не всегда хорошая идея. У меня были железные RAID и на IDE и на SCSI - они были очень чувствительны к перепадам напряжения. Сейчас часто распространены сетевые хранилки и там софтварные рэйды, они более надежны, чем аппаратные. А ещё есть специальные хранилки для видеонаблюдения, там может быть вообще прямой доступ к диску, своя собственная разметка диска и шифрование сверху. В любом случае "восстановление системы" перезапуском рэйда - это очень плохая идея. Нужны средства контроля состояния рэйда и восстановления. Скорее всего вам лучше заменить глючную железку.

Comments

[Максим Сандаков]

Спасибо, Андрей, был бы действительно безмерно рад заменить железо, но... Сами наверное знаете как сейчас стало тяжело с сетевым/серверным оборудованием, особенно для небольших компаний. Продолжу пока искать способы закостылить, чтобы не иметь долгих простоев, а там глядишь и какие-то новые возможности появятся.

[Андрей Смирнов]

Максим Сандаков, у меня просто были очень нехорошие проблесы с железными RAID и корзинами. Причём у меня корзина отваливается от контроллера и подвисает, а отдаю её на тестирование поставщику и у них всё нормально работает - грешил на заземление, статику или ещё на что, но в результате так и не решил - данные тогда временно на машину с кучей винтов и софтварный рэйд перенёс, а потом появилась более адекватная брендовая корзина.
К тому же именитые фирмы типа HP или IBM разрешают ставить ТОЛЬКО свои диски и только определенных серий, которые стоят дороже обычных винтов. А с видеонаблюдением мы как то рег купили, который сам диск размечал и с этого диска только их прогой можно было что то слить, а на рабочем только скриншот на флэшку или dvd записать, но в момент этих операций запись останавливалась...