Zettabyte

В первую очередь сделайте копию всех важных данных на сервере и убедитесь, что в копии они не повреждены.

развернут ESXI 6.5 ... Диски работают в RAID 1+0 под контроллером HP b120i

ESXI и RAID-контроллер - это действительно, два "слоя", которые могут помешать взаимодействию с дисками напрямую. Как минимум, с рэйд-контроллером надо изучать как работает он сам, что позволяют его драйверы, и какой софт доступен.

Если не получится пробиться в родной ОС, то пронумеруйте диски, разберите массив, и подключите диски напрямую к компьютеру с Виндоус. Windows давно стала отраслевым стандартом в data recovery и весь самый интересный софт разрабатывается под неё, независимо от того, с какими накопителями ведётся работа. Если она предложит инициализировать/форматировать диски, или запустит проверку - откажитесь / остановите.

Скачайте и распакуйте R.tester: https://rlab.ru/tools/rtester.html
В нём можно как посмотреть SMART, так и сделать максимально детальные тесты чтения, которые покажут состояние поверхности.
Можно также сделать тесты записи, но они уничтожают всё безвозвратно, так что предварительно надо готовиться (бэкапить данные или делать образы дисков).

Можно ли восстановить данные с raid 10?

Да, можно. Если вы хотите рискнуть и работать "нагорячую", то прекратите все операции записи на массив. Скачайте бесплатный R.saver, распакуйте его на другой диск или флешку, запускайте полное сканирование RAID'а, и восстанавливайте найденные данные: https://rlab.ru/tools/rsaver.html

Результат должен быть лучше, чем в Recuva (которая по моей информации, в последнее время "поотстала"), и на уровне лучших коммерческих программ (той же r-studio).

Оптимальным (более безопасным) вариантом было бы выключить сервер, пронумеровать диски, вынуть их и подключить напрямую к другому компьютеру. Р.сэйвер должен увидеть диски и собрать массив автоматически. Дальнейшая работа аналогична описанной выше, только восстановление будет выполняться с виртуальной реконструкции RAID-массива.

Кроме того, вы можете использовать промежуточный вариант, который также безопаснее "горячего" с точки зрения отсутствия операций записи. Закиньте распакованный R.saver на загрузочную флешку - программа изначально полностью portable и не требует установки.

- P.S. -
Вам это вряд ли потребуется (услуга для тех у кого массив "полетел" и больше не виден), но если вдруг окажется, что всё совсем плохо, мы умеем делать восстановление RAID удалённо (через интернет).

заявлена возможность подключения до 122 дисков. Как это реализовать

Выделите полчаса на то, чтобы погуглить различные словосочетания, включающие в себя слова "expander" и "backplane".
Это то, что вам нужно как в плане железа, так и в плане знаний. Если вы раньше никогда не работали с подобным оборудованием, то хотя бы базово однозначно стоит разобраться, иначе потом могут быть неприятные сюрпризы.

Докупать нужные железки надо б/у на eBay, авито, хламаде, и т.п.

старому SAS-контроллеру

Обязательно обратите внимание на вот эту статью KB, т.к. к вашей плате она тоже относится: https://www.broadcom.com/support/knowledgebase/121...

If a drive larger than two TeraBytes in capacity is used with an LSI 3Gb/s SATA+SAS HBA, you will not be able to use the remaining capacity beyond 2TB.

Я бы не особо полагался на выделенную жирным часть цитаты, а по умолчанию полагал, что диски больше 2 ТБ использовать нельзя. Если всё же хотите рискнуть, то необходимо предварительно провести тщательную проверку поведения с большими дисками.
В противном случае однозначно станете нашим клиентом, а с учётом того, для каких RAID'ов обычно используют такие железки, и какие повреждения ожидаемы, ещё и с непредсказуемым исходом.

Также обратите внимание, что по-моему, у вас RAID-контроллер, их работа обычно отличается от HBA-адаптеров.

всякие виктории и mhdd вообще не видят SAS диски

Самое время попробовать R.tester:

• Во-первых, было бы хорошо посмотреть как он вообще увидит HDD, затем можно пробовать тест записи.
  
• Во-вторых, насколько мне известно, у Р.тестера, как минимум, среди бесплатных программ, самый широкий набор функций (эмуляция SMART для SAS/SCSI и т.п.) для работы с дисками SCSI и SAS: https://rlab.ru/tools/rtester.html
  

Имеется NAS ... QNAP

Я бы сильно не рекомендовал экспериментировать на боевой системе в данном вопросе.
Скопировали старые данные, проверили, что копия в порядке, добавили диски, создали новый массив, скопировали на него данные, проверили ещё раз, работаете дальше.

У нас некоторое время назад был как раз НАС Кунап, который декларировал возможность лёгкой конвертации RAID 5 в RAID 6 (или наоборот - надо смотреть базу). Человек запустил. В районе середины процесс завис.

Информацию мы восстановили, но для получившегося пирога из новых данных, промежутка-начинки, и старых данных, потребовалось модифицировать наш внутренний софт для восстановления RAID. Потребовало времени и дополнительных денег.

Так что пока создайте, например, RAID 1, попользуйтесь, а потом создайте новый массив с нуля, иначе рискуете стать нашим клиентом: https://rlab.ru/raidrecovery/

Я думаю, что если бы ваше железо поддерживало работу разных дисков в массиве, то вы бы об этом знали. Так что покупайте аналогичный диск.

Кроме того, не могу не добавить то, что если вы задаёте такой вопрос, то можете стоять недалеко от края обрыва. Говоря точнее, сценарий начинает напоминать один из типовых, с которыми к нам обращаются за восстановлением данных.

Убедитесь, что вы точно знаете как инициировать корректный ребилд для вашего массива. Корректным я называю противоположность того, который называется forced rebuild у ряда производителей. Если выполните последний, то контроллер пересчитает вам чётность так, будто новый диск содержит реальные пользовательские данные.

После этого единственным шансом на восстановление информации будет создание образа того диска, который полетел. И, разумеется, возникнет рассинхрон по тем файлам, которые изменялись после этого.

И тут может возникнуть проблема, связанная с тем, что "raid 5 из sas дисков со скоростью вращения 10 тысяч об/мин". Такие диски более надёжны, менее подвержены отказам, т.е. пашут как рабочие лошади. Но: для тех, которые всё-таки выходят из строя, вероятность того, что диск умер безвозвратно, заметно выше. Т.е. САС-диски если и умирают, то гораздо чаще умирают "совсем".

У вас, конечно, может быть "истеричный" контроллер, который выбрасывает диски при малейших подозрениях на проблемы, но я бы на это не полагался.

Так что берите подходящий диск, а если сомневаетесь, то перед его установкой пронумеруйте оставшиеся диски массива, подключите напрямую, и сделайте несжатую полную посекторную копию каждого диска. Да, потребует времени и места, но с клонами, даже если что-то пойдёт не так, вы сможете всё вернуть.
В противном случае рискуете стать нашим клиентом. Оценить для себя целесообразность рекомендаций выше можете ознакомившись с ценами на восстановление RAID: https://rlab.ru/raidrecovery/

Как получить S.M.A.R.T данные с SAS RAID ... ещё SAS MegaRaid и SATA MegaRaid

Если отвечать совсем точно, то жёсткие диски SAS и SCSI не имеют "традиционных" атрибутов SMART. Однако, мы написали программу, которая на основе отдаваемых ими данных само-диагностики эмулирует СМАРТ: https://rlab.ru/tools/rtester.html

Кроме того, одна из особенностей R.tester'а - это как раз умение "проходить сквозь" различные контроллеры и мосты. Эта функция постоянно развивается, список поддерживаемых устройств расширяется.
Делаем это в т.ч. и на основе отзывов от пользователей, когда есть возможность собрать необходимую техническую информацию.

Существует ли JBOD c распределенной записью на все диски?

Да, называется RAID№, где № - это 0, 5, 6 и менее распространённые, либо вложенные уровни RAID.

Выбор уровня зависит от нужной вам скорости или надёжности.

все бекапы умрут с диском

Не все. Потеряются только те, которые лежали на вышедшем из строя диске.

поступили на сервер 5 больших файлов бекапов по 500гб, у сервера есть массив из 8 дисков, 4 из которых свободны на запись, контроллер поставит их на запись а один в очередь

Не исключаю, что нечто подобное можно организовать на некоторых SAN'ах, но специфику лучше уточнять у тех, кто занимается внедрением подобного железа. Мы, в основном, видим СХД, когда всё уже упало и не работает.
Кроме того, вас вряд ли обрадует стоимость.

Пункт №0: есть ли у вас проверенные на целостность бэкапы содержимого сервера? Без этого экспериментировать с системой я бы не стал, особенно в плане операций, подразумевающих запись.

У вас занятный вывод в том плане, что отображается Retry queued command:. без отображения команды. По идее там должно быть что-то наподобие 0x51.
Если судить по дампу, то проблема возникает с операцией чтения (read) - 28 M OM MM READ(10).

Было бы хорошо изучить что говорит мануал к вашему 3ware на этот счёт.

Кроме того, если бэкапы у вас есть и вдруг есть возможность загрузить Windows (например, с флешки), то запустите программу наподобие R.tester и посмотрите что она скажет про состояние дисков.

В первую очередь я проверил бы слот 27 (или 26). Если, конечно, такое количество дисков у вас вообще есть и моё предположение о том, что это нумерация, верное.

составной том из двух RAID0 массивов ... Какие проблемы могут возникнуть?

На мой взгляд, здесь важно помнить, что RAID 0 из N дисков в N раз менее надёжен, чем один диск. Потеряете один диск в таком рэйде - потеряете всё.

Обычно использовать РЭЙД 0 в каком-то более-менее серьёзном сценарии работы имеет смысл только когда скорость имеет приоритет над всем остальным.

HBA контроллер для бОльших новых дисков

Мы недавно под конкретную задачу по восстановлению данных брали LSI 9200-16E. К примеру, на eBay они стоят совсем копейки.
Альтернатива - LSI 9200-8E, но при минимальной разнице в цене, отчего не взять четырёхпортовый?

Но это внешний HBA-адаптер, мы подключали пару полок SuperMicro 837E16-RJBOD1. А в них были SAS-диски ST12000NM0027 (Seagate Exos X12 на 12 ТБ).

ЕМНИП, у LSI проще всего смотреть на букву в модели: E - external, I - internal. Также бывают вариации моделей, например, для адаптера выше это LSI 9201-16E.

Вам также будет полезно определиться достаточно ли вам будет 6 Gbps или нужен контроллер быстрее (и подороже).

нужно ли для этого собрать новый сервер

У того же СуперМикро есть модели, где "всё внутри", к такой полке вы сможете подключать другие, посмотрите спеки на русском/английском сайтах.

Не могу понять в рейде там диски или нет

Скачайте бесплатный R.saver, он умеет собирать RAID-массивы автоматически: https://rlab.ru/tools/rsaver.html

Диски у вам подключены, так что распакуйте, запустите, и откройте вкладку «Комплексные хранилища». Метаданные почти наверняка распознаются автоматом, после этого там же появится виртуальный диск, который соответствует вашему рейду.

Что вы имеете в виду, говоря "восстановить 1 диск"?

Если вам надо восстановить информацию, то у вас, минимум, два варианта:

1. Т.к. у вас RAID 1, то с высокой вероятностью файлы будут видны, если просто подключить этот диск к компьютеру.
   
2. В случае отдельных вендоров/конфигураций, файлы могут быть не видны. Тогда возьмите бесплатный R.saver. Это программа для восстановления данных, не требующая установки. С учётом того, что файловая система у вас, судя по всему, в порядке, Р.сэйвер сразу покажет вам содержимое диска и даст его скопировать.
   

Имея копию, вы сможете экспериментировать с оживлением массива. Даже если что-то пойдёт не так, то просто создадите массив заново и скопируете всё на него.

Есть ли какие то утилиты для восстановления?
Вот эта прога "видит" мой pool

Программу для восстановления данных лучше, чем UFS Explorer, найдёте очень вряд ли.

В trial-режиме с её помощью можно подробно изучить что находится на сделанных вами образах (хорошо, что начали с этого), а по итогам - принять решение о покупке ключа. Ограничение бесплатной версии - только извлечение данных.

В отдельных случаях руками можно сделать больше, чем автоматом, но с учётом специфики ZFS, это непросто, как следствие - зачастую недёшево.

Мы занимаемся дистанционным восстановлением данных (через интернет), если совсем упрётесь в стену, можем посмотреть, однако, в случае с ЗФС заранее что-то обещать неразумно.

какая из конфигураций более оптимальна raid из 6x1Tb, 3x2Tb или 2x3Tb

Тут вы упустили важный, на мой взгляд, момент: ёмкость первого варианта будет 5ТБ (RAID5), второго - 4ТБ (тоже 5), третьего - 3ТБ (RAID1).

хранение фильмов с возможностью безболезненного добавления дисков

Для этого потребуется контроллер, а также какие-никакие, но навыки. Нам регулярно приносят на восстановление данных RAID-массивы после некорректного ребилда.
Ну и в RAID1, понятно, диски можно добавить разве что для большей надёжности.