Имеет ли место быть RAID10 из mdadm и LVM2?

Question

[silverjoe]

Кто сталкивался/собирал: как себя ведет массив созданный в Linux средствами mdadm и LVM2?
Видел в доках redhat-а рекомендации по такой реализации.

Т.е. берем 4 диска и собираем два зеркала с помощью mdadm, а потом с помощью LVM2 создаем поверх этих массивов единый том. По структуре - RAID10, но по реализации не совсем он.

Как будет работать в вариантах диски HDD и диски SSD?

Есть ли преимущества и какие недостатки?

Для каких задач это будет хорошее решение, а для каких - плохое?

Answer 1

[Axian Ltd.]

7Например так https://www.allcloud.io/how-to/create-software-rai... собираем raid10, а поверх него lvm.
С raid10 сам не пробовал, зеркало работает замечательно.
Недостатки очевидны - програмный raid, аппаратный по любому быстрее и надежнее. Зато этот бесплатно. Синхронизируется долго с отвлечением ресурсов процессора.
Если хочется кэшировать с ssd, то это имхо дополнительный софт типа https://www.rath.org/ssd-caching-under-linux.html.
Я использую на хостах виртуализации proxmox.

Comments

[silverjoe]

Вопрос не КАК сделать - на HDD я его собирал, но давно и тесты не делал. Вопрос в том как он показывает в работе и какие недостатки кроме того что он программный?

вторая ссылка выдает 404

[Axian Ltd.]

Хабр зацепил точку в ссылку. Уберите. Программный это и есть его недостаток. Кушает процессор, кушает память.

[Axian Ltd.]

А так какая разница где логика реализована в прошивке или в виде драйвера? Те же яйца, вид сбоку.

[silverjoe]

Как будет работать в вариантах диски HDD и диски SSD?
Для каких задач это будет хорошее решение, а для каких - плохое?

[silverjoe]

Axian Ltd.: почему спрашиваю, потому что здесь Стоит ли делать RAID из SSD? указали что RAID0 в разных задачах показывает или прирост или просадку по чтению/записи. Меня заинтересовал вопрос с RAID10 причем именно в реализации mdadm + LVM2

[АртемЪ]

Axian Ltd.: В аппаратном логика реализована на железе контроллера, это самый удачный вариант, но и самый дорогой.
У программного рэйда есть недостатки, которые вам уже указали - он кушает ресурсы системы. Хотя ненадежным я бы его не назвал, Разве что батарейки нет для защиты от потери питания.

Однако у программного есть и достоинства - он гибкий в настройке, можно сделать как угодно и что угодно, он не привязан к контроллеру, если у вас сдох аппаратный контроллер, знаете какая это порой проблема найти такой же?

Самый плохой вариант рэйда, который точно не стоит делать ни при каких обстоятельствах - полупрограммный, это те что в чипсет мат. платы встроены.
Они имеют все недостатки программного и аппаратного рэйда, и не имеют ни одного достоинства.

По поводу RAID10 из mdadm и LVM2 - такой рэйд вполне заслуживает реализации.
А вот стоит или нет его делать - зависит от конкретной ситуации.

[Axian Ltd.]

Это не мой вопрос ;-)

Answer 2

[Saboteur]

> Т.е. берем 4 диска и собираем два зеркала с помощью mdadm, а потом с помощью LVM2 создаем поверх этих массивов единый том. По структуре - RAID10, но по реализации не совсем он.

Плохая идея. Именно в силу того, что вы делаете не raid10, а велосипед.

Вся идеология RAID Была построена не вокруг резервного копирования данных, а вокруг минимизации простоя и ускорения работы.
Вы же делаете lvm2 поверх райд, то есть в случае сбоя, нужно будет вручную восстанавливать - а это противоположное тому, что предлагает raid - взять все расходы времени на себя, а вам только перевтыкнуть битый винт на целый.

Лучше сделайте raid10 штатно (средствами ОС, средствами контроллера) а поверх него уже мутите lvm2, чтобы работать с динамическими разделами.

Answer 3

[АртемЪ]

Имеет ли место быть RAID10 из mdadm и LVM2

Да.

Как будет работать в вариантах диски HDD и диски SSD?

Работать будет нормально, как HDD так и SSD. Вопрос лишь в том для чего он вам нужен, какие задачи должен решить. Надо из этого исходить.
Поэтому не всегда он имеет смысл.
Делать десятый рэйд из SSD можно, но не часто возникают ситуации когда это имеет смысл.
Как правило проще купить более быстрый SSD.
Вообще в создании рэйдов из SSD много тонкостей, и причина этого простая.
HDD по сути тупая железка, делает исключительно то что ему говорят никакой логики (хотя надо сказать последнее время и HDD поумнели, взять тот же NSQ)
А вот SSD это по сути компьютер, имеющий мощный процессор, приличный объем оперативной памяти, прошивку управляющую всем этим - ну и массив собственно флешпамяти. И вот этот компьютер имеет собственную логику заложенную производителем, и вариантов там множество, трудно найти два одинаковых SSD во всем этом многообразии.
Поэтому четко предсказать как именно поведет себя неизвестно какой SSD в конкретной ситуации сложно.

Comments

[silverjoe]

и какие задачи такой рейд сможет решать максимально эффективно?

Answer 4

[Vladimir Zhurkin]

Кто сталкивался/собирал: как себя ведет массив созданный в Linux средствами mdadm и LVM2?
Видел в доках redhat-а рекомендации по такой реализации.

Можно посмотреть на такие доки RH, где дают вредные советы ?

Т.е. берем 4 диска и собираем два зеркала с помощью mdadm, а потом с помощью LVM2 создаем поверх этих массивов единый том. По структуре - RAID10, но по реализации не совсем он.

В LVM2 RAID0 плюс только один, это создание снепшотов и добавление новых HDD.
Только вот чтение и запись будет у такого решение последовательно и в общем прибавки скорости не светит.
Второй момент, что надежность в случаи отказа такой схемы спорная. У вас по факту может вылетить 1 диск или 2 диска из разных массивов. восстанавливать такой слоенный пирог не очень удобно, в случаи проблем - восстановление может быть квестом. Поэтому проще делать все на mdadm сразу например.

Как будет работать в вариантах диски HDD и диски SSD?

Да в общем как обычно. Отличий минимально.

Для каких задач это будет хорошее решение, а для каких - плохое?

Тут нет ответов и не будет. Все решается бенчмарками и от самих задач. При этом бенчмарки сугубо под ваши нужды и под ваше железо.
Но я бы вообще ушел и от mdadm и от lvm и уже смотрел на ZFS с его плюшками. Там вам уже и LVM, и Raid и снепшоты и кеширование итд итп. В ближайшие время ФС будит доминировать. Можно настроить два уровня кеша. Память->SSD- и уже все на HDD.