Как лучше хранить 13 ТиБ данных (mdadm / lvm / zfs / btrfs)?

Добрый день, Хаброчане!

Подскажите, как лучше организовать надёжное хранение большого объёма данных, с кучей файлов. Данных всего примерно 13 ТиБ, может быть чуть больше.

Их можно разделить на две группы:
* 8 ТиБ, примерно 450 000 файлов, размером в среднем от 10 МиБ до 25 МиБ. В 90% случаев они будут только читаться, в 8% дополняться, в 2% удаляться/перезаписываться. Данные уже сжатые, сжать лучше вряд ли получится.
* Примерно 5 ТиБ и около 5 300 000 файлов, очень разного размера, несколько сотен тысяч совсем мелких, по 5 КиБ, какие-то крупные, по несколько гибибайт. Эта группа будет активно обновляться, перезаписываться, удаляться. Тут, теоретически, данные сжимаемые, но не уверен, что это имеет смысл.

Для этого всего припасено 5 дисков TOSHIBA HDWG160, 6 ТБ (5.4 ТиБ).

Я планировал из них собрать что-то вроде программного RAID 6, т.е. полезный объём будет равен объёму только трёх дисков, 18 ТБ.

Что лучше для этого использовать? Собрать средствами mdadm/lvm и сверху разместить ext4 или использовать модные ZFS/BTRFS? Что более надёжно? Что расширяемо? Теоретически, может настать момент, когда объёма хватать перестанет. Смогу ли я добавить ещё такой же диск в массив не потеряв надёжность? Какой вариант будет легче/быстрее восстановить, если накроется один диск? А два?

Каких-то особых возможностей на данный момент не требуется, снапшотов, вероятно - тоже. Может быть, «версионирование» состояний некоторой части данных, для которого хватит скрипта, что будет создавать директории с датой в имени и хардлинки для файлов между ними. Но, если это будет происходить средствами ФС, то хорошо.

P.S.: Памяти 32 ГиБ, Error Correction Type: Multi-bit ECC, что для ZFS должно быть вполне хорошо.
P.P.S.: Может быть какой туториал посоветуете?
  • Вопрос задан
  • 1439 просмотров
Пригласить эксперта
Ответы на вопрос 4
saboteur_kiev
@saboteur_kiev Куратор тега Linux
software engineer
мне кажется zfs тут будет подходить лучше, чем связка из mdadm + lvm
как бы весь функционал zfs позволяет делать сама, и в случае необходимости добавить диск или заменить, будет проще.
Ответ написан
@Drno
Если снапшоты, расширение,изменение на лету - ZFS
Если просто хранить - голый etx4
Если опять же изменение(расширение) файловой системы - LVM

Восстановить проще с etx4 голого (мое личное мнение)
Ответ написан
@res2001
Developer, ex-admin
То что лучше знаешь/был опыт работы: llvm или zfs/btrfs.
Можно использовать что-то типа TrueNAS и не парится с выбором.
Возможно стоит как-то разделить файлы на группы, а не держать в общей файло-помойке, и группы разложить на разные raid тома, созданные на независимых от других групп дисках...
Стоит подумать еще и о бэкапе всего этого добра.
Ответ написан
@voleg4u
http://www.voleg.info/
Btrfs лучше забыть, если хочешь данные хранить, а не терять. Mdadm неплох и надёжен, но есть нюансы с пересборкой. Можно сделать и с LVM, подробно описал ЗДЕСЬ. Но собственно дату рекомендую хранить в ZFS. Сама файловая система защищает от физического падения диска. У меня настроены снапшоты, как защита от случайного стирания. И сделана инкрементальная реплика на ZFS сервер в другой локации на случай здеца. Некоторые разделы зашифрованы, на случай кражи. Описано ЗДЕСЬ, правда когда писал это, ещё шифрование не включал, поэтому про него не написано.
Ответ написан
Комментировать
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы