Вопрос по надежности ZFS. Как лучше делать датасеты: со сжатием или без?

Question

[aleks-th]

Рассматриваю гипотетическую ситуацию когда на диске появились бэды но он скажем процентов на 90 читаем...
В той же винде с NTFS в таком случает не битые файлы можно вычитать с большой вероятностью и собственно потерять маленькую часть . (честно скажу сталкивался с такими маловероятными задачами за 20 лет всего пару раз, и то не у себя)
А вот битые архивы скажем zip если их делали без избыточности часто вообще восстановить было не возможно....

А как будут обстоять дела если 1 диск, раздел ZFS. (бэкап есть, но параноя гложет а вдуг диск помрет в момент смерти компа с бэкапами)
Собственно есть ли какое-то преимущество в надежности если шифрование у датасетов отключить ?
А то сейчас тестирую, с моими данными там сжатие 1.2-1.3 что не особо место будет экономить.
Опасения такие, что вдруг пару битых кластеров и с раздела вытащить ничего нельзя будет изза сжатия...

Comments

[RStarun]

Вот про "сжатие 1.2-1.3" можно подробней? Просто вопрос про шифрование, а всплывает сжатие. Насколько я помню в ZFS можно было отдельно включать сжатие, шифрование, дедупликацию. Логично что несжатые и не дедуплицированные файлы больше шансов на восстановление имеют. Сжатие уменьшает вероятность восстановления, а дедупликация уменьшает вероятность восстановления сразу множества файлов.

[aleks-th]

RStarun,

Это я печатался, спасибо поправил.
Вопрос именно про сжатие gzip-9, lz4 и т.д.

Интересует вот что, на сколько уменьшает - ошибка на диске убьет всю сжатую файловую систему(как грубо говоря зип архив) или только файлы и куски системы которые затронет ?

Шифрование и дедупликацию - не рассматриваю именно в этом кейсе, они как раз снижают сильно вероятность вытащить данные....

[RStarun]

Как это ни странно, но вроде сжимаются файлики по отдельности. Для каждого crc формируется, для разных типов данных вроде даже можно настроить свои алгоритмы сжатия. Логика есть - зачем тратить время на сжатие уже сжатого zip архива если можно просто его записать?

[Павел Межуев]

ошибка на диске убьет всю сжатую файловую систему(как грубо говоря зип архив) или только файлы и куски системы которые затронет ?

В ZFS сжатие работает на уровне блоков, а настройки можно изменять на лету. Поэтому не исключена ситуация, когда разные куски одного файла будут храниться на диске как несжатыми, так и сжатыми разными алгоритмами.

Answer 1

[rPman]

чем сложнее файловая система, тем менее вероятно восстановление после сбоя.

zfs, точнее любая cow файловая система, искусственно фрагментирует размещение файлов на диске (при их изменении), т.е. каждый раз когда вы пишете в файл, этот кусок записывается в новое место... представляете какая каша получается из данных на диске, если это восстанавливать?

С другой стороны, благодаря технологии cow, есть шанс восстановить предыдущее значение файла, ведь оно осталось на прежнем месте, только кластер помечен как свободный, собственно на этом и основаны их высокоскоростные многоуровневые снапшоты.

p.s. настоятельно не рекомендую рассчитывать на восстановление данных на основе 'что то смогу восстановить', лучше используйте raid1/5/6 (6 версию рекомендую, от 4 дисков, суммарный объем меньше на 2 диска), в этом случае вы значительно будете защищены от аппаратных сбоев на диске (но не в контроллере и не в софте).

От софтовых проблем защищайтесь регулярными снапшотами, их же используйте для онлайн инкрементального резервного копирования (btrfs и zfs умеют быстро считать разницу между указанными снапшотами, формировать их в файл, который можно обратно развернуть на другой файловой системе, если делать это последовательно, начиная с первого снимка)

Answer 2

[elbrus56]

Не очень понятно: речь о сжатии или шифровании пула.

Если речь о сжатии, то значения не имеет, так как даже для страйпа пишется два блока метаданных. А если хочется, то можно настроить хранение копии блоков данных на том же диске. Что касается так называемых суперблоков, в которых хранится критически важная информация о структуре данных на диске, то ZFS по умолчанию старается разнести их подальше друг от друга на диске.

ZFS надежнее, чем привычная нам ФС. Лечит сама себя. Если будут ошибки чтения/записи – она сама сообщит вам об этом и даже покажет, какие файлы могли пострадать. Надо только попросить.