Можно ли получить нормальную скорость записи на ZFS?

Question

[unwrecker]

Пытаюсь установить Proxmox на кластер серверов. В серверах есть по паре NVME дисков, на которых должна быть размещена база данных percona xtradb cluster. До Прксмокса эти nvme собирались в зеркало с помошью mdraid, но Проксмокс это не поддерживает (и говорят нежелательно особо копаться в хостовых машинах). Из коробки есть только ceph и ZFS. И в первом и во втором варианте скорость записи на sysbench тесте просаживается катастрофически: в ~10 раз. Причём дело даже не доходит до виртуалок - просто монтирую получившийся раздел на хостовой машине и меряю.

Как вариант ещё думаю прокинуть на низком уровне NVME-диски в виртуалки и там собрать массив через mdraid, но это уж совсем костыльно.

Можно ли в ZFS достигнуть скорости работы mdraid? Никакие функции кроме собственно зеркалирования не нужны.

Comments

[Алексей С.]

zfs хорош при использовании в многодисковой конфигурации, на пару дисков зеркалом разница с mdraid должна быть минимальна .. может у вас проблема с размером кластера или смещением ?

[unwrecker]

Алексей С., всё делалось через GUI Проксмокса. Вряд ли там можно с этим накосячить. Смещение по умолчанию стояло 12. Пробовал и 13 - особой разницы нет.

[nrgian]

ZFS на production рекомендуют очень много оперативной памяти.

[unwrecker]

nrgian, 188 гигов памяти, двухсокетный xeon gold. Надеюсь ему достаточно :)

Answer 1

[Пума Тайланд]

Не слушайте любителей собрать рейд на лвм
Проксмокс это просто надстройка над дебианом он прекрасно поддерживает мдадм и рейды софтовые
На зфс перфоманц не получится получить такой же

Comments

[unwrecker]

Ну как минимум ZFS или LVM останется на системном разделе, так как в инсталляторе Проксмокса нет других вариантов. Или поставить ручками Дебиан, а потом из пакетов Проксмокс - тоже нормальный вариант?

[Пума Тайланд]

unwrecker, да нормальный
Я просто его ни разу его инсталлятором не ставил, всегда через дебиан

Answer 2

[Wexter]

с каких пор proxmox не умеет mdadm?
zfs шлак для ssd, подходит только для больших хранилок

Comments

[unwrecker]

С каких - не написано, но в 5.4 точно нет: https://pve.proxmox.com/wiki/Software_RAID

[Wexter]

unwrecker, нет в вебморде. через ssh всё есть и прекрасно работает
https://blog.dataforce.org.uk/2018/06/proxmox-mdad...
https://habr.com/ru/post/186818/

[unwrecker]

Wexter, да это понятно что можно установить, но неоднократно встречал рекомендации не ставить ничего дополнительного на гипервизоры Проксмокса.

Answer 3

[unwrecker]

Proxmox из коробки также умеет LVM, который тоже умеет зеркалить. Даёт проседание на 20% относительно голого железа. Плюс к тому уже в виртуалке ещё в 3 раза проседает скорость записи, но это уже вопросы не к ZFS а другим товарищам. А ZFS в моей конфигурации явно лишний.

Comments

[Wexter]

LVM это не raid. Настраивайте руками mdadm через консоль и будет вам счастье

[unwrecker]

Wexter, а тут пишут, что это одно и то же https://unix.stackexchange.com/questions/150644/ra...

Answer 4

[elbrus56]

Попытаюсь ответить на вопрос: Можно ли в ZFS достигнуть скорости работы mdraid?

Теоретически - да, но для достижения этих целей потребуется понять, как работает ZFS сам по себе и вместе с Proxmox. Уже после этого надо понимать, что именно вам требуется от БД, как пишутся данные, нужно ли делать резервное копирование и надо ли вообще виртуализировать кластер БД?

Надо понимать, что ZFS - это в первую очередь забота о сохранности ваших данных. И за это надо платить производительностью и тюнингом.

Есть рекомендации в целом: open-zfs.org/wiki/Performance_tuning#Database_workloads

Если оставаться на Proxmox, то действительно можно пробросить диски в VM и уже там собрать MD или ZFS.