Почему низкая скорость ZFS?

Question

[Евгений Воробьев]

ZOL 2.0.3
Debian 10.8
Xeon E3-1265Lv2
16GB DDR3 ECC
RAIDZ1 4x 3TB WD Blue 5400rpm

При записи на массив скорость может падать до 70-50МБ/сек.
При работает этих дисков в режимах mdadm raid10 или raid5 скорость на запись было 300+.
Причем при записи на raidz массив грузится один поток процессора io-wait. И узкого горлышка не вижу в системе. Диски, проц... загружено не полностью. Даже когда копирую с массива на массив этот же - простой дисков вообще под 50%... а скорость... 25МБ/сек и ниже((
На что обратить внимание в настройке системы? Или ситуация нормальная?

Comments

[tukreb]

через сеть? Какой протокол? SMB? iSCSI? Или всё локально?
И да, какой raidz ?

[Евгений Воробьев]

tukreb, конечно локально. Через mc копирую файлы. Raidz1

[tukreb]

Евгений Воробьев, ну тогда для Raidz это нормально :) он медленнее зеркала.
В zfs скорость зависит от количество vdev, у вас он один, а значить будет равен скорости одного диска.
Так же у вас маловато памяти, я так понимаю, вы не только используете 16 ГБ для zfs используете, но и для ОС? Тогда это смешно как мало :D чисто под ZFS нужно минимум только 16 ГБ, а лучше 32.

[uvelichitel]

На FreeBSD на реальной задаче(крипто, блокчейн) ZFS raidz быстрее mdadm(на реальной задаче на моей машине платформа lga2011 2*Xeon4600).
ZFS конфиг позволяет кешировать в RAM и запись(ZIL) и чтение(L2ARC), я не тестировал, не было необходимости.

usr/home/uvelichitel# zpool status
  pool: tank
 state: ONLINE
  scan: scrub repaired 0 in 0 days 01:30:40 with 0 errors on Fri Jan 15 00:36:27 2021
config:

        NAME             STATE     READ WRITE CKSUM
        tank             ONLINE       0     0     0
          raidz1-0       ONLINE       0     0     0
            label/disk1  ONLINE       0     0     0
            label/disk2  ONLINE       0     0     0
            label/disk3  ONLINE       0     0     0

errors: No known data errors

[Евгений Воробьев]

tukreb, то есть ты утверждаешь, что изза нехватки RAM такая низкая скорость? Даже если диски и проц простаивают. Уверен? Увеличить объем памяти невозможно (HP Microserver Gen8), а надежность хранения очень хочется получиться. mdadm как известно может подвести в режиме raid5, если один из дисков начнет сбойные данные отдавать.
Просто все эти слова и выкрики, что для ZFS надо миллион терабайт памяти больше похожи на кукарекания из курятника. Есть РЕАЛЬНЫЕ сравнения? Чтобы протестили, вынули плашку, протестили, сравнили? Уж ОЧЕНЬ не верится, что если памяти чуть меньше рекомендованного на "пацанских форумах", скорость записи резко обвалится в 3-4 раза. И плюс смущает один поток, загруженный в потолок io-wait. Я просто УВЕРЕН что в данном случае дело не в памяти.

[Swartalf]

А шифрование в пулле, случано, не включено?

[Евгений Воробьев]

Swartalf, неа. Компрессия только в нескольких датасетах. Но низкая скорость и там, где она отключена.

[Swartalf]

покажите что в zfs get all <dataset>
какой ashift на пулле?

[Евгений Воробьев]

Я и так скажу) 12. Проверял без его указания... Все было одинаково

[Swartalf]

ну ashift хорошо, а другие параметры?

[elbrus56]

tukreb, я бы сначала на hit ratio посмотрел

[Евгений Воробьев]

elbrus56, l2arc нет. Но и с ним так же было все. Добавлял в качестве тест целый nvme накопитель на 512ГБ.

Answer 1

[elbrus56]

Какие данные?

Что с фрагментацией?

Comments

[Евгений Воробьев]

данные все подряд. Домашние архивы и видео с музыкой.
Фрашментации не должно быть (раздел 7ТБ, скорость низкая почти с самого начала. Начинается с ~150Мб сек и падает до того что написал).

[elbrus56]

Евгений Воробьев, zpool list покажет процент фрагментации

Answer 2

[Евгений Воробьев]

Вобщем перешел на mdadm c btrfs обратно.. вопрос надежности оставил как есть, но создал не один массив raid5 (как было), а 3 массива raid0/1/5. В крайнем случае данные на RAID1 все равно останутся, даже если один диск из 4 начнет выдавать мусор.