HP microserver gen8, ESXI, проблема с дисками?

Question

[Марат]

Коллеги здравствуйте, подскажите кто сталкивался, на HP Microserver gen8 развернут ESXI 6.5 некоторое время получаю уведомления:
blk_update_request: critical target error, dev sda sector XXX
Как следствие некоторые из виртуальных машин могут уйти в initramfs соответственно сервис падает, это может произойти в любой момент времени. Диски работают в RAID 1+0 под контроллером HP b120i. Мониторинг состояния на самом сервере говорит что диски ОК.
Подскажите куда копать. Есть мысль остановить сервер и по очередно прогнать статус SMART на каждом из дисков.

Comments

[Армянское Радио]

Чтобы проверить SMART не нужно ничего останавливать

[Марат]

Армянское Радио, Диски в рейде и управляются контроллером с контроллера кроме как статус OK не получить.

[Армянское Радио]

Марат, Есть какбы пакет утилит командной строки, который позволяет достучаться до контроллера и опростить статус дисков.

[Марат]

Армянское Радио, Верно, он и отдает только статус.

[Максим Гришин]

Марат, проверьте логи контроллера тогда. Если ошибка записи/чтения на диске с RAID, и рейд в остальном цел, это не диски.

[Марат]

Максим Гришин, Спасибо, изучу вопрос.

Answer 1

[Zettabyte]

В первую очередь сделайте копию всех важных данных на сервере и убедитесь, что в копии они не повреждены.

развернут ESXI 6.5 ... Диски работают в RAID 1+0 под контроллером HP b120i

ESXI и RAID-контроллер - это действительно, два "слоя", которые могут помешать взаимодействию с дисками напрямую. Как минимум, с рэйд-контроллером надо изучать как работает он сам, что позволяют его драйверы, и какой софт доступен.

Если не получится пробиться в родной ОС, то пронумеруйте диски, разберите массив, и подключите диски напрямую к компьютеру с Виндоус. Windows давно стала отраслевым стандартом в data recovery и весь самый интересный софт разрабатывается под неё, независимо от того, с какими накопителями ведётся работа. Если она предложит инициализировать/форматировать диски, или запустит проверку - откажитесь / остановите.

Скачайте и распакуйте R.tester: https://rlab.ru/tools/rtester.html
В нём можно как посмотреть SMART, так и сделать максимально детальные тесты чтения, которые покажут состояние поверхности.
Можно также сделать тесты записи, но они уничтожают всё безвозвратно, так что предварительно надо готовиться (бэкапить данные или делать образы дисков).

Comments

[Марат]

Данные забекапил, попробую пойти путем теста наиболее старого диска, если диск жив, поставлю обратно, дождусь ребилда и пойду к следующему (поскольку не имею возможности остановить работу сервисов полностью), в этом перерыве посмотрю будут ли ошибки при работе с одним из дисков.

[Zettabyte]

Марат,

Данные забекапил

Главное - убедитесь, что в копии они целы. Мы видели самые разные развлекухи с пропаданием/повреждением файлов в "многослойных" системах.

попробую пойти путем теста наиболее старого диска, если диск жив, поставлю обратно, дождусь ребилда и пойду к следующему

Тоже вариант.
Если вы точно знаете как делается ребилд, т.е. "корректный", а не forced rebuild, то на извлекаемых дисках вы можете делать и тесты записи.

Вообще говоря, полный тест записи, а после него - полный тест чтения (который read, не verify) - это лучшая проверка диска без спец. оборудования.

Только не забывайте, что при ребилдах и тестах на диски будет повышенная нагрузка, и если какому-то нехорошо, он может выйти из строя. Так что имейте копию файлов, и будьте готовы ставить замену, либо хотя бы быстро её купить.
Пятница всё-таки :)

[Марат]

Zettabyte, спасибо за развернутый ответ, ребилд стартовал автоматически, после установки нового диска, на этот процесс я не влиял никогда.

Answer 2

[Марат]

По итогу:
Вытащил старый диск который отработал 40 тыс часов, состояние которого в целом не плохое, bad секторы отсутствуют, smart проходит.
Неделю esxi работал на 1 диске и проблема не возникала все неделю, вставил второй, редилд прошел и на второй день появилась аналогичная ошибка.

Answer 3

[rule184]

Прошивки для диска стоит проверить, особенно если это seagate