В чем причина такой деградации IO-производительности между proxmox-ом с ZFS и WS19 VM?

Уже неделю пытаюсь найти причину жуткого падения IO-производительности между хостом с proxmox на ZFS и виртуалками Windows Server 2019.

Дано:
  • Гипервизор proxmox, одна нода, без кластера, pve-6.1-8, ФС = ZFS
  • Несколько виртуалок WS19 с минимальной нагрузкой
  • ZFS sync=disabled, volblocksize для VM-дисков = 4k
  • В VM-ках стоят последние дрова VirtIO (0.1.173)

Тестировалось следующей fio-командой (и на гипервизоре и в VM:

fio --filename=test --sync=1 --rw=$TYPE --bs=$BLOCKSIZE --numjobs=1 --iodepth=4 --group_reporting --name=test --filesize=1G --runtime=30

Результаты:
oes1A.png
Графики

График чтение:
2zeOW.png
График запись:
xr3D5.png

Что уже пробовал: различные volblocksize на ZFS, разные параметры ZFS sync (остановился на disabled, т.к. сервер стоит в ДЦ). Переключался между virtio-blk и virtio scsi single (не велика разница), включал writeback cache (стало хуже).

Подкиньте плиз идей ;)
  • Вопрос задан
  • 1285 просмотров
Пригласить эксперта
Ответы на вопрос 4
Jump
@Jump
Системный администратор со стажем.
Ну в общем то не удивительно.
NTFS работает не с диском, а с ZFS. Мало того, что двойная работа с ФС, так еще и ФС сильно разные - размер кластера например.
Не зная точный настроек ZFS сложно сказать что там происходит, но не удивлюсь если при попытке прочитать 4кб на NTFS, реально читается мегабайт на ZFS.

В остальном - достаточно странный выбор файловой системы для виртуализации.
ZFS вообще под линуксом в продашене надо использовать с большой осторожностью, а лучше не использовать вообще.
А уж размещать на ней файлы виртуальных машин - крайне неудачная идея.
Ответ написан
@Wexter
Вы отключили дисковый кеш виртуалкам и удивляетесь что просела производительность? Серьёзно? Куда таких раздолбаев берут?
Ответ написан
Gem
@Gem
В proxmox 5 тоже пробовал zvol, с линуксом -- результат тот же
Дошел до текущих разрабов ZFS -- были патчи, проблему подтвердили но их исправления не помогли
Сижу на LVM
Ответ написан
opium
@opium
Просто люблю качественно работать
Если вам нужен перфоманс придется отказаться от зфс я долго мучился но так и не смог получить хороший перфоманс для высокой нагрузки на диск в зфс
Пробовал все найденные советы в инете и даже отдавал пол оперативки зфс
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы