В чем причина такой деградации IO-производительности между proxmox-ом с ZFS и WS19 VM?

Question

[Programmierus]

Уже неделю пытаюсь найти причину жуткого падения IO-производительности между хостом с proxmox на ZFS и виртуалками Windows Server 2019.

Дано:

• Гипервизор proxmox, одна нода, без кластера, pve-6.1-8, ФС = ZFS
  
• Несколько виртуалок WS19 с минимальной нагрузкой
  
• ZFS sync=disabled, volblocksize для VM-дисков = 4k
  
• В VM-ках стоят последние дрова VirtIO (0.1.173)
  

Тестировалось следующей fio-командой (и на гипервизоре и в VM:

fio --filename=test --sync=1 --rw=$TYPE --bs=$BLOCKSIZE --numjobs=1 --iodepth=4 --group_reporting --name=test --filesize=1G --runtime=30

Результаты:

Графики

График чтение:

График запись:

Что уже пробовал: различные volblocksize на ZFS, разные параметры ZFS sync (остановился на disabled, т.к. сервер стоит в ДЦ). Переключался между virtio-blk и virtio scsi single (не велика разница), включал writeback cache (стало хуже).

Подкиньте плиз идей ;)

Comments

[Дмитрий]

Неизвестно какие диски в zfs, какие массивы, какие параметры самих zvol... Вы предлагаете гадать на кофейной гуще?

[Programmierus]

Дмитрий, Дмитрий, спасибо за коммент.

Мне кажется, что данные параметры в указанном сетапе не играют роли, т.к. производительность на том-же zvol с хоста очевидна, а VM юзает raw из него. Т.е. происходит деградация именно на уровне VM. Но скажите что продемонстрировать?

Вот на вскидку немного:

zvol status/zvol get all | grep ashift

zpool status
  pool: rpool
 state: ONLINE
  scan: scrub repaired 0B in 0 days 00:19:32 with 0 errors on Sun Mar  8 00:43:33 2020
config:

	NAME                                                 STATE     READ WRITE CKSUM
	rpool                                                ONLINE       0     0     0
	  mirror-0                                           ONLINE       0     0     0
	    nvme-eui.343335304d7002530025384100000001-part3  ONLINE       0     0     0
	    nvme-eui.343335304d7002600025384100000001-part3  ONLINE       0     0     0

errors: No known data errors

  pool: rpool_hdd
 state: ONLINE
  scan: scrub repaired 0B in 0 days 02:52:39 with 0 errors on Sun Mar  8 03:16:41 2020
config:

	NAME        STATE     READ WRITE CKSUM
	rpool_hdd   ONLINE       0     0     0
	  mirror-0  ONLINE       0     0     0
	    sda     ONLINE       0     0     0
	    sdb     ONLINE       0     0     0
	  mirror-1  ONLINE       0     0     0
	    sdc     ONLINE       0     0     0
	    sdd     ONLINE       0     0     0

errors: No known data errors
# zpool get all |grep ashift
rpool      ashift                         12                             local
rpool_hdd  ashift                         12                             local

[y2k]

Раз уж пошли дурацкие ответы, то тоже присоединюсь :)
В VM использовалась windows версия fio или запускали под WSL?
Пробовали ли ReFS?

[Programmierus]

y2k, слава Богу хоть какой-то разумный ответ ;)

в Windows запускалась нативная fio-версия, но аналогичные результаты показывает и ioMeter и LAN Test в локальном режиме. Поэтому исхожу из того, что деградация точно присутствует (она, собственно, чувствуется).

Про ReFS интересная мысль.. Давно хотел его попробовать. Попробую - отпишусь.

Но вообще очень бы хотелось понять в чем дело именно в этом сетапе, т.к. на других нодах я такого не вижу. Деградация всегда присутствует, но в пределах ожидаемых 10-20%, не 90%.

[Antonio Solo]

:) причина очевидна, стоит немного посмотреть на ваши цифры и подумать. ну или почитать про работу NTFS.

[Programmierus]

Antonio Solo, учитывая, что такое поведение лишь на одной ноде, для меня она не столь очевидна. Принцип работы NTFS и собственно ZFS я тоже понимаю, кмк, гораздо лучше среднего. Так что уж направьте в верном направлении... Я даже посыплю потом голову пеплом, если окажется, что всё и правда очевидно.

[y2k]

Antonio Solo, не томите! второй день не сплю - жду ответа

[elbrus56]

Уточните, пожалуйста:
- на каком пуле создан zvol для vm
- какие диски используются для пула на котором zvol
- у вас zfs on root?
- сколько оперативной памяти и какой размер пулов
- вывод zpool list
- включен ли SWAP в Proxmox
- что с настройками swapiness для виртуалок
- делали ли тесты SMART
- тестировали ли fio непосредственно на блочном устройстве, а не на фс

[Programmierus]

elbrus56, сорри за задержку с ответом. Был 32 часа в дороге... Итак:

- на каком пуле создан zvol для vm
- какие диски используются для пула на котором zvol

NAME                                                 STATE     READ WRITE CKSUM
  rpool                                                ONLINE       0     0     0
    mirror-0                                           ONLINE       0     0     0
      nvme-eui.343335304d7002530025384100000001-part3  ONLINE       0     0     0
      nvme-eui.343335304d7002600025384100000001-part3  ONLINE       0     0     0

- у вас zfs on root?

Да.

- сколько оперативной памяти и какой размер пулов

free -h
              total        used        free      shared  buff/cache   available
Mem:          251Gi       102Gi       148Gi       439Mi       708Mi       147Gi
Swap:            0B          0B          0B

размер пулов - см. ниже

- вывод zpool list

root@pmx-ru:~# zpool list
NAME        SIZE  ALLOC   FREE  CKPOINT  EXPANDSZ   FRAG    CAP  DEDUP    HEALTH  ALTROOT
rpool       888G   437G   451G        -         -    46%    49%  1.00x    ONLINE  -

- включен ли SWAP в Proxmox

см. вывод free выше

- что с настройками swapiness для виртуалок

включен, не используется, т.к. RAM достаточно, винда настроена на фиксированный swap

- делали ли тесты SMART

да, все в норме. wearout около 1%.

- тестировали ли fio непосредственно на блочном устройстве, а не на фс

Сейсас протестировал блочное устройство... Деградация присутствует (что для меня несколько странно), но она совершенно не такого порядка, как из ОС с NTFS.
Пример (4k seq write): Host 240MiB/S, Block 168 MiB/s, NTFS OS 3,42 MiB/s (остальные пропорционально аналогично)

[Programmierus]

y2k, Подозреваю маэстро Antonio Solo решил высказаться из серии потом показать потомкам: "смотрите в какой дискуссии участвовал" ;)

[elbrus56]

Programmierus, надо делать тесты по крайним условиям, причем тестируйте только с блочными устройствами: что в Windows, что на хосте. Увеличьте количество проходов, чтобы забились все возможные кэши.

- отключите swap в proxmox, ставьте swapiness 0 на виртуалку и протестируйте отдельно
- добавьте zfs sync=standard и протестируйте отдельно
- добавьте в тесты ZVOL с BS 16K

Я предполагаю, что на пуле ASHIFT 12. На ZVOL lz4

[Programmierus]

elbrus56, по поводу swap и всего с ним связанного, я не считаю нужным переставлять, т.к. у меня ничего не свопится вообще (в т.ч. по отчетам заббикса ретроспективно):

smem -s swap -r | head -n 12
  PID User     Command                         Swap      USS      PSS      RSS
27275 www-data pveproxy worker                    0     3824    31923   119760
27274 www-data pveproxy worker                    0     3828    31924   119760
27273 www-data pveproxy worker                    0     3836    31928   119760
27271 www-data spiceproxy worker                  0     3256    25575    50872
26502 root     /usr/bin/kvm -id 202 -name         0  4997828  5493427 16827516
23506 root     /usr/bin/kvm -id 200 -name         0  3914104  4356138 16810708
23257 root     /usr/sbin/pvefw-logger             0      268      342     2168
20782 root     head -n 12                         0      136      173     1544
20781 root     /usr/bin/python /usr/bin/sm        0    12288    12364    14268
19373 root     /usr/bin/pmxcfs                    0    24968    32209    43324
19216 root     /usr/sbin/corosync -f              0   240140   260226   286352

- добавьте zfs sync=standard и протестируйте отдельно

Уже делал. Это указано в моем вопросе. При sync=disabled показывает лучшую производительность (не так значительно, но да..)

- добавьте в тесты ZVOL с BS 16K

Я пробовал с 4, 8, 64, 128 и наилучших результатов добивался с 64/128 (т.е. с бОльшими размерами, прирост производительности был, впрочем, незначительный). Есть какие-то причины ожидать волшебства именно с 16?

Я предполагаю, что на пуле ASHIFT 12. На ZVOL lz4

Да, всё так. Сорри, что не указал это в вопросе. Мой косяк.

[elbrus56]

Programmierus, рекомендую сначала провести тесты. Зря мы что ли на инженеров учились.

[Programmierus]

elbrus56, мы знакомы? ;)

[y2k]

Programmierus,

ASHIFT 12

Кстати, вы не написали модель дисков. Может там вовсе и не 4kn...

[Programmierus]

y2k, интересная мысль. Кстати, вот этот момент я не до конца понимаю... В моем случае речь идет о 2-ух NVME в зеркале. Модель SAMSUNG MZ1LB960HAJQ-00007. Когда я это вопрос, по-моему пару лет назад, прорабатывал, то нашел вот этот ответ. Для себя я это зафиксировал так: "не суть важно в случае с SSD/NVME". В итоге я ставлю размер volblocksize на блочном устройстве ZFS таким-же (или больше) размеру в конечной FS (например NTFS). Мои тесты показали, что volblocksize на блочном устройстве ZFS 64/128kb дают наилучшую производительность, даже если NTFS=4k. Т.е. на конечное устройство, особенно если это SSD или NVME, я не ориентируюсь.

[y2k]

Programmierus, тут пишут, что разница есть. Сам в этом вопросе плаваю. В любом случае, такую деградацию как у вас трудно списать на покосившийся alignment...
В общем Кац предлагает сдаться и перейти на Hyper-V :)

[Programmierus]

y2k, кстати хотел рассказать. По Вашей рекомендации вот ща ночью попробовал ReFS. Результаты очень удивили:

График (риды)

4K все равно в жопе, но остальное прям на удивление. Для меня это вообще первый опыт ReFS. Надо конечно читать/изучать - обязательно займусь. Но у вас был опыт? Я так смотрю системный диск на него не перевести никак.. С чем его вообще едят?

Пока как план для себя решил попробовать (просто для успокоения души) туже ноду на LVM. Надеюсь найти время через выходные на это.

[y2k]

Programmierus, К сожалению, пробовал только на тестовом сервере. Для миграции нужно много дисков, а "денег нет" ©
Эта фс создавалась под виртуализацию, так что она и должна быть быстрее. Системный диск нельзя, но не представляю, в каком сценарии это может понадобиться. Употребляется в сочетании со Storage Spaces. А к последнему уже подключается что угодно. У меня вот JBOD'ы - бюджетно и работает как часы.

[Wexter]

Вы отключили дисковый кеш виртуалкам и удивляетесь что просела производительность? Серьёзно? Куда таких раздолбаев берут?

[Programmierus]

Ну пойди ты почитай что означает sync=disabled. Почитай что значит cache=none у виртуалок в proxmox... Откуда вы такие, да еще и в ответы?

[poige]

cache=none это не столько у Proxmox, сколько у qemu-kvm. По смыслу — прямой ввод-вывод, без кэширования в оперативке сервера. Нельзя сказать, что оптимален в плане быстродействия, тот же writeback, очевидно, выигрышней.

Answer 1

[АртемЪ]

Ну в общем то не удивительно.
NTFS работает не с диском, а с ZFS. Мало того, что двойная работа с ФС, так еще и ФС сильно разные - размер кластера например.
Не зная точный настроек ZFS сложно сказать что там происходит, но не удивлюсь если при попытке прочитать 4кб на NTFS, реально читается мегабайт на ZFS.

В остальном - достаточно странный выбор файловой системы для виртуализации.
ZFS вообще под линуксом в продашене надо использовать с большой осторожностью, а лучше не использовать вообще.
А уж размещать на ней файлы виртуальных машин - крайне неудачная идея.

Comments

[Programmierus]

Артем, вы по-моему остались где-то в прошлом веке... По поводу не соответствия размера кластера все указано выше. По поводу двойной работы ФС - просто феерический бред, вы вообще понимаете, как работает ZFS касательно raw images? И разницу между NTFS и ZFS в данном случае? ZFS нельзя в продакшн... Боже, вы за его развитием лет 5 не следили? Плиз, пройдите с такими "ответами" хотя бы в комментарии...

[АртемЪ]

Programmierus,

ZFS нельзя в продакшн

ZFS можно и нужно в продакшен, очень неплохая ФС.
ZFS на Linux нельзя в продакшн!

По поводу двойной работы ФС - просто феерический бред, вы вообще понимаете, как работает ZFS касательно raw images?

Какая разница как там работает ZFS? В любом случае сначала будет работать NTFS, а потом будет работать ZFS. По другому никак.

По поводу не соответствия размера кластера все указано выше

Где? Не вижу размера recordsize.

[Programmierus]

АртемЪ,

ZFS на Linux нельзя в продакшн!

Бред полный. Расскажите это ребятам из FreeNAS, Proxmox и вообще всем, кто юзают и рекомендуют ZFS в продакшн. Ну и мне расскажите тоже, кто в продакшне на ZFS уже 3,5 года. В хорошем продакшне.

Где?

В теле вопроса:

volblocksize для VM-дисков = 4k

[Programmierus]

АртемЪ,

Какая разница как там работает ZFS? В любом случае сначала будет работать NTFS, а потом будет работать ZFS. По другому никак.

Сорри. Пропустил это. ZFS в данном случае блочная система, которая предоставляет для NTFS блочный доступ, закрепляя его всеми вкусняшками ZFS: ARC, L2ARC, LZ4 и т.п. RTFM в общем, да. Вам есть что почитать за последние годы.

[АртемЪ]

Programmierus,

Ну и мне расскажите тоже, кто в продакшне на ZFS уже 3,5 года

Ну я вам и рассказал - остальное решать вам.

volblocksize для VM-дисков = 4k

recordsize

закрепляя его всеми вкусняшками ZFS: ARC, L2ARC, LZ4 и т.п.

В вашем режиме использования - VHD с NTFS на ZFS толку от ARC, L2ARC будет в районе ноля.
А так действительно классные вкусняшки, но надо же немного думать и понимать где они будут работать, а где они вообще бесполезны.

Вам есть что почитать за последние годы.

Разумеется. Мне всегда есть что почитать.

[Programmierus]

АртемЪ, recordsize тут непричем совершенно.

Читать вам тут.

VHD с NTFS

Вы о чем вообще? Какой нахрен VHD??? Вкусняшки все работают отлично (что собственно логично):

ARC total accesses (hits + misses):                               982.7M
        Cache hit ratio:                               92.9 %     913.3M
        Cache miss ratio:                               7.1 %      69.4M
        Actual hit ratio (MFU + MRU hits):             92.0 %     903.7M
        Data demand efficiency:                        88.9 %     394.4M
        Data prefetch efficiency:                      27.7 %      34.4M

Cache hits by cache type:
        Most frequently used (MFU):                    76.0 %     694.4M
        Most recently used (MRU):                      22.9 %     209.3M
        Most frequently used (MFU) ghost:               0.7 %       6.7M
        Most recently used (MRU) ghost:                 0.1 %     480.1k
        Anonymously used:                               0.3 %       2.5M

[АртемЪ]

Programmierus,

Какой нахрен VHD???

Ну какая разница, какой там формат виртуальных дисков

Вкусняшки все работают отлично

Во время тестирования? Или во время нормальной работы?

[Programmierus]

АртемЪ, Ну какая разница, какой там формат виртуальных дисков

Каких виртуальных дисков? Там НЕТ виртуальных дисков. Это RAW.

Конечно во время нормальной работы.

Артем, давайте закончим это фиаско. Я не знаю зачем вы решили ответить, не разбираясь в сути вопроса, но дальнейшая дискуссия теряет смысл. Я вообще был удивлен этой парой ответов подобного характера. Я запостил вопрос только когда с опытом около 20 лет я не смог понять этой аномалии на одной из нод. Предполагал, что как на SO или SF мне могут ответить соотечественники, гуру именно этой темы. На SF, и самом форуме proxmox'a просто пока ответов нет (т.к. проблема действительно непонятная). А тут набежало что-то странное. Оставим это.

[Programmierus]

Wexter, я имел в виду 20 лет личного опыта. Ответа впрочем этот опус не заслуживал.

[АртемЪ]

Programmierus ,

Каких виртуальных дисков? Там НЕТ виртуальных дисков. Это RAW.

Во как? У вас Windows Server 2019 на ZFS? Ну-ну.

Я не знаю зачем вы решили ответить

Вы спросили - я ответил.
Если ответ устраивает, или решил проблему - отмечайте решением, если нет - игнорируйте.
Все просто.

[Wexter]

АртемЪ, чота промахнуся кнопкой ответить

[Programmierus]

АртемЪ, Во как? У вас Windows Server 2019 на ZFS? Ну-ну.

Вы не поверите, но именно так. ZFS это, в т.ч., блочная система. Т.е. через гипервизор в KVM доступ к датасету передается на блочном уровне (и там уже разворачивается ФС самой ОС, в случае с WIndows - NTFS). В контексте ZFS совершенно не важно какие данные там хранятся: файлы ли, или блоки FS или еще что. ZFS работает underlying на более низком уровне.

Скажу больше, развитие в целом идет в этом направлении. С bhyve вы вообще грузитесь с флешки и гипервизор минимален (там, кстати, без ZFS вы вообще никуда - к вопросу о продакшн).

Но вся эта лирика совершенно не имеет никакого отношения к моему вопросу. Я его задал очень конкретно и качественно, с графиками и со всеми вводными данными.

Answer 2

[Gem]

В proxmox 5 тоже пробовал zvol, с линуксом -- результат тот же
Дошел до текущих разрабов ZFS -- были патчи, проблему подтвердили но их исправления не помогли
Сижу на LVM

Comments

[Programmierus]

Дело в том, что у меня такая экстремальная деградация наблюдается лишь на одной ноде...

Answer 3

[Пума Тайланд]

Если вам нужен перфоманс придется отказаться от зфс я долго мучился но так и не смог получить хороший перфоманс для высокой нагрузки на диск в зфс
Пробовал все найденные советы в инете и даже отдавал пол оперативки зфс

Comments

[Programmierus]

Пол оперативки итак под ZFS. У меня опыт на других системах с ZFS очень положительный. Борюсь скорее с исключениями, как описанное в вопросе.

[Пума Тайланд]

Programmierus, ну там где перфоманс дисковый не нужен все отлично работает
а так рейд1 + лвм + ext4 на тяжелой нагрузке просто на порядок уделывают зфс

[Programmierus]

Пума Тайланд, я не могу с вами согласиться, особенно после выхода ZFS 0.8.

Я постараюсь в ближайшие недели найти время взять вообще отдельный новый хост и сделать сравнение в указанной вами конфигурации. Самому любопытно...

[Пума Тайланд]

Programmierus, сколько у вас иопсов в пике

[Programmierus]

Пума Тайланд, вы имеете в виду на машинах, где я доволен производительностью?

[Пума Тайланд]

Programmierus, нет на машинах где у вас тяжёлая нагрузка на диск
В целом 98 процетов проектов в мире вероятно не имеют тяжёлой нагрузки живу и им ок

[Programmierus]

Пума Тайланд, наш основной биз - виртуальные пространства для энтерпрайзов на базе Parallels RAS... Наверное, мы в 2% не попадаем, т.к. по сути мы виртуализированное облако с кучей виртуалок, в основном под виндой, на которой работают офисные сотрудники.

Почему я начал разбираться с этой нодой (она стоит у одного из клиентов, т.е. это не наше железо - мы только обслуживаем): после внедрения нашего сетапа винда на уровне обывателя стала "ворочаться" некомфортно медленно. Это было триггером. Текущая рабочая версия, что причина как раз IO на малых блоках (4К), т.к. тот-же SMB очень говорлив именно в этих размерах.

В нормальном случае (на других наших нодах) мы никаких проблем не наблюдаем и наоборот очень четко видим положительные влияния ZFS ARC и большого количества RAM в паре. Изначально мы бенчмаркили ZFS vs LVM (это было с выходом 0.8) и на конечных тестах с продуктами MS Office (они для нас принципиальны и у нас есть свой бенчмарк для ворда, экселя и аксеса) - сетап с ZFS уделал LVM-ный аналогичный почти на 60% в производительности для нас важной. Но, т.к. в рамках данного вопроса несколько раз утверждалось, что мы ошибаемся - я запланировал теперь еще раз протестировать. Может быть мы не умеем/умели готовить LVM?...

[a8k4]

Programmierus, В итоге чем дело закончилось? Решили проблему?