Вобщем, от фс отказался
Сделал так поделил диски по классам
ceph osd crush rule create-replicated hddrule default host hdd
ceph osd crush rule create-replicated ssdrule default host ssd
ceph osd crush rule create-replicated nvmerule default host nvme
И добавил пулы с правилом репликации hddrule и ожидаемым размером раздела здесь стоит учесть количество дисков и количество реплик которые нужно хранить
P.s он очень медленный даже с ssd cache