День добрый.
Настроил гластер между двумя серверами в режими репликации.. каждый сервер подключется клиентом к себе.
Поверх этого живет самба с шарами этих папок.
В папках порядка 200 тысяч мелких файлов ( по 10-20кб )...
Скорость скачивания через самбу порядка 20кб , скорость заливки вроде неплохая.. ( проблем не замечал ). Скорость открытия папок через самбу ужасная.
иногда возникаются input\output error при чтении локалхостом из папки гластера... ( редко )
P.S. самба с обычной фс ( не гластер ) работает на ура.
Подскажите пожалуйста , в чем может быть проблема с таким поведением гластера?
Проверялось без тюнинга и с тюнингом :
gluster volume set vol nfs.enable-ino32 on
gluster volume set vol nfs.addr-namelookup off
gluster volume set vol nfs.disable on
gluster volume set vol performance.cache-max-file-size 10MB
gluster volume set vol performance.cache-refresh-timeout 5
gluster volume set vol performance.write-behind-window-size 10MB
gluster volume set vol performance.io-thread-count 64
gluster volume set vol performance.cache-size 5G
Спасибо
UPD1:
Порвел тут небольшой тест на запись через rsync ( не спрашивайте почему именно им ... захотелось =) )
#### SSD TO SSD
sent 7672190769 bytes received 797076 bytes 180540890.47 bytes/sec
total size is 7668399515 speedup is 1.00
#### SSD TO GLUSTER ( on ssd ) with FUSE mount REPLICATED 2 блока на двух серваках
sent 7672133481 bytes received 796791 bytes 18737314.46 bytes/sec
total size is 7668343095 speedup is 1.00
#### SSD TO GLUSTER ( on ssd ) with NFS mount REPLICATED 2 блока на двух серваках
sent 7672401667 bytes received 799223 bytes 19207010.99 bytes/sec
total size is 7668603097 speedup is 1.00
#### SSD TO GLUSTER ( on ssd ) with FUSE DEPRICATED-REPLICATED из 4х блоков на двух серваках
скорость такая же как и в случае с репликайтед.
Между гластерсерверами оптика.
Что то очень удивляют меня данные результаты... в инете натыкался на статьи где люди утверждают что гластер у них качает со скоростью сетки ( 1ГБ в их случае был ) ....
Хмм - если серверов всего два - рекомендуют использовать DRBD. Из за Отсутствия многих плюшек Гластера - он проще и вроде шустрее. Но лично не пробовал. Могу ошибаться.
все правильно там работает.
Такова специфика
1. у вас не ssd и IO проседает от количества файлов а не от реальной работы с ними.
2. glusterfs работает через FUSE а следовательно быстро это не будет в принципе вкупе с первым пунктом реально не быстро.
ну а если гластер развернуть на сдд 5ый рейд это значительно улучшит ситуацию или гластер впринципе Г ? задача иметь общую папку с правами RW на двух серверах ( без участия третьего... хранится должна на них из соображений отказоустойчивости )
ну 5 сам по себе это софтвер, тут он сам по себе кушать будет притом два раза разделя и считая сумму.
Тут без контроллера нужно 10 раз подумать.
я бы рекомендовал ссд даже 3 и тд в зеркале, поскольку да размера не дает но чтение увеличивает, ио и так не просидает так еще меньше будет, ну и бд полезно когда винты быстрые.
Что же касается самого IO то у ssd как таковой скорость постраения каталога в сотни раз быстрее, если не тысячи, ибо физически нет шпинделя с головками, и не нужно ждать когда он доедет.
Так что на ssd да будет по реще но но 100 метров в секунду можешь не мечтать FUSE.
Как вариант избавитья частично от такой фигни можно сделав ход конем, как делает цукерберг
Он форматит файл под ext2 размером с жесткий диск и ложет в него все данные. Монтирует его.
По факту поиск по файлу идет быстрей чем по именам файлов.
Если тебя смущяет форматирования файла ;) то вспомни iso иежисними.
а был опыт по проблемам выключения одной ноды с гластером? как часто вообще гластер может вылететь и много ли там танцев с бубном начинается после вылета одной из нод?
думаю, подходящие это решение в продакт или не очень...
Не понял про "мега-энтерпрайз". Так почитал, тут мега-энтерпрайзом оказывается как раз Ceph, а гластер это система по типу microsoft dfs, не слишком-то подходящая под понятие энтерпрайза вообще.
