Какой РЕЙД (и нужно ли вообще) выбрать для NVMe SSD?

Question

[Роман]

Допустим я хочу ОЧЕНЬ БЫСТРОЕ ХРАНИЛИЩЕ.

Есть новыме модели супермикро, 10 нвме портов. Туда теоретически можно запихать 10 1.6Тб НВМе ССД (оставим стоимость в стороне)

Я так думаю что сюда нужен эээ... зеркальный рейд 1 .
Однако - это ж какой расход дисков, жалко как-то.
Рейд5 - не уверен что производительность будет в порядке, что-то как-то вот ну не уверен.

Что же делать? посоветуйте.
Софтверный рейд тоже рассматривается.

Comments

[АртемЪ]

Вы бы для начала озвучили для чего нужен рейд.

[Роман]

АртемЪ: для очень большой скорости чтения. Пусть это будет база данных на постгре, я не знаю. Есть разница?

[Diman89]

вам именно и быстро, и много? та же супермикро не описывает сценарии применения?

[Роман]

Diman89: Нет, они не пишут в каком рейде применять. Пишут - чуваки, вот у нас сервак 1У с 10нвме портами, срочно бегите покупайте :)

[АртемЪ]

Роман: Разумеется есть - какая нужна скорость линейная или случайный доступ?

[Роман]

АртемЪ: Ну ... т.к. это БД - скорее всего случайный доступ.

[АртемЪ]

Роман: Тогда ставить рэйд для увеличения скорости смысла нет.
Для отказоустойчивости можно использовать зеркальный рэйд, но не забывайте про трим.

Answer 1

[АртемЪ]

В общем-
Рейд повышает скорость линейного чтения (непрерывное чтение большого файла)
Для таких целей используют либо raid 0 (низкая надежность) либо raid 1(высокая надежность) либо их комбинацию, т.е raid 10.
Другие типы рейда вроде raid 6 не сильно повышают скорость при этом требуют мощного контроллера и потребляют много ресурсов, без дорогого контроллера смысла нет использовать.

Рейд не повышает скорость случайного чтения - множество мелких файлов, множественные запросы к базе данных, и.т.п.

RAID SSD требует особого подхода - нужно озаботитсья пробросом команд TRIM, иначе возможно резкая просадка скорости записи. Далеко не все контроллеры способны это делать.

В большинстве случаев построение RAID из SSD не имеет практического смысла.
Разве что raid 1, т.е зеркало, для обеспечения бесперебойной работы.

Comments

[Роман]

Вы мне пишете прописные известные истины.
Только вот это никак не помогает понять, какой рейд использовать для NVMe SSD.

Устройства подключаются к шине PCIe. Какой контроллер?
Мне кажется тут только вариант софт рейда, но я не уверен - есть ли смысл в зеркалировании для ССД, и будут ли такие же проблемы с рейд 5 для ссд. Поэтому и задал вопрос.

[Роман]

Вот собственно в этом то и дело. Случайный доступ - ссд по барабану.
TRIM - это ОС, по идее поддерживает.
Зеркало - ну вот как-то ... ЖАЛКО ЖЭ! А можно как нибудь, чтобы и надежно, и не было такой дикой потери емкости? :)

[АртемЪ]

Роман: Если у вас софтовый рейд, то вся нагрузка будет ложиться на процессор.
В случае зеркала - это минимальная нагрузка.
В случае шестого или пятого рэйда это огромная нагрузка и скорее всего просадка скорости.
Софт рейд для увеличения скорости применять вообще бессмысленно.

[АртемЪ]

А есть ли смысл в зеркалировании - это у вас надо спросить.
Если вам нужна отказоустойчивость, т.е вы не готовы останавливать работу при отказе диска, тогда надо.
Если на отказоустойчивость пофиг, то смысла нет.

[АртемЪ]

Роман: Понятно что ОС поддерживает TRIM.
Вот только в случае рэйда эта команда пойдет на рэйд, а не на SSD.
В результате SSD этой команды не получит.

Контролер должен уметь пробрасывать трим - не важно железный контроллер или софтовый.

Answer 2

[nApoBo3]

Имхо сложные raid себя не оправдывают, у них очень большое время ребилда которое с высокой вероятность может привести к потери всех данных.

Comments

[Роман]

Ну, по идее на ССД ребил должен быть достаточно быстрым.
Вопрос - какой сюда правильнее выбрать?

Может вообще рейд не нужен, а просто делать бекап ?

[Diman89]

Роман: RAID не бэкап!

[nApoBo3]

У ssd все ещё хитрее, скорость записи падает со временем и с уменьшением свободного пространства. Плюс ssd могут выключать запись после определённого кол-ва записи( от прошивки зависит). Т.е. результат может быть слабо предсказуем.
Рейд лучше софтовый, поскольку не понятно как у хардового с тримом, а софтовый raid5 будет сильно грузить проц. Так что или брать за большие деньги готовое решение или ssd кэширование, или софтовый raid1.

[nApoBo3]

Бэкап и рэйд решают разные задачи, бэкап восстановление, рэйд производительность и устойчивость к отказам по железу. Должно быть и то и другое( или иные механизмы дублирования)

[Роман]

Diman89: Нет, оно понятно что не бекап. Я к тому, что например не заморачиваться с отказоустойчивостью слишком сильно, и если вдруг чего - развернуть обратно из бэкапа. Да, это намного дольше, но просто я боюсь что на ссд результат рейда не сильно предсказуем.

nApoBo3: Я не совсем понял вашу последнюю фразу. Вы пишете - рейд лучше софтовый ... а софтовый 5 будет грузить проц.

nApoBo3: конечно, лучше и то и другое. И если отказоустойчивость на уровне жестких дисков более-менее ясна, то с ссд - не понятно.

[Diman89]

для железного контроллера он должен быть, наверное, топовым, чтобы по IOPS'ам прокачать 10SSD -> недешевым; софтовая 5ка будет нехило грузить CPU (на таких скоростях), да и во время ребилда 5ка ненадежна
имхо: сами не знаете чего хотите. не парьтесь.

[Роман]

Diman89: Пускай будет топовым. Вопрос - а есть ли такие? + NVMe = PCIe, как с ними контроллер то должен работать? Через шину? Или ээ... я не представляю.

Софтовый - да, ребилд будет жрать цпу.

Я не незнаю чего хочу, я же писал. Допустим я решил купить тот сервер с 10 нвме ссд. Как эти ссд наилучшим образом использовать и управлять ими?

[Diman89]

Роман: есть, 1я ссылка в гугле (pmcs.com/products/storage/flashtec_nvme_controller...). а на софтовом жрать CPU будет не только ребилд, но и любой чих на высоких (относительно одиночного SSD) скоростях
покупатели таких вещей знают как их правильно использовать. не забивайте голову настолько специфичными вещами

Answer 3

[sergur]

Традиционный вариант для NVMe SSD это RAID 5 или 6 или гибрид тоже основанный на кодах четности.
За счет скорости самих дисков ребилд в счучае выхода из стороя занимает вполне приемлемое время и не приводит к существенному проседанию производительности.