Поиск файловой системы для кластера виртуализации

Question

[Qk4l]

Доброе,

Имеется порядка 10 серверов виртуализации на базе Linux. VE хостятся локально на серверах.

Желание:
Организовать распрделенную fs на серерах, что бы иметь возможность online миграции. + резервирование.

Если у кого есть какой опыт использования распределенных файловых систем — поделитесь пожалуйста.

Спасибо.

Answer 1

[mgyk]

Поднимите отдельную железку с пачкой винтов и раздавайте LVM разделы по iSCSI. Распределенная FS в данном случае (для виртуалок а не просто складирование файла) станет очень большим тормозом, кроме того разруливание split-brain на таких установках не тривиально. Если хотете не поиграться, а чтобы действительно работало смотрите железки специализированные.

Answer 2

[BasilioCat]

GPFS из всех кластерных файловых систем самая нормальная, хоть и платная. Почитайте просто документацию на GlusterFS (ее не так много) и я думаю у вас отпадет желание ее использовать =)

Однако для ваших целей даже GPFS может иметь свои минусы — как я понял у вас хранилища будут попутно исполнять роль и клиентов, то есть читать данные с себя и других узлов. А раз так, то лучше обеспечить физическое наличие файла на машине, которая его чаще всего читает. Не уверен, что GPFS это умеет

Answer 3

[Sergey]

SAN

Comments

[Qk4l]

Можно пожалуйста поконретнее.
Хочется реализовать storage на имеющейся инфраструре самих серверов.
Чтобы они сами предоставляли место в кластер и сами его и использовали.

[Sergey]

у нас дисковые стойки XP и EVA, дают доступ к ФС на блочном уровне.
Для самодельных кластерных ФС есть GlusterFS, GPFS, MooseFS, etc.

[Qk4l]

Меня как раз интересует опыт использования как Вы выразились «самодельных кластерных ФС».

Какие из них есть я могу без проблем найти. Допустим www.opennet.ru/prog/sml/150.shtml

Повторюсь, мне интересен именно опыт их использования… Рекомендации…

[Sergey]

я и поделился своим опытом использования «общих фс» для виртуалок и дал рекомендации. Кто-то другой даст другие рекомендации.

Answer 4

[xdeller]

Пользуйте DRBD, если есть возможность отдельный интерфейс под него выделить, с любой фс, или lvm + iscsi. Вообще непонятно, для миграции как правило используют блочные устройства, а не фс. Что за виртуализация у вас?

Comments

[Qk4l]

DRBD если только в primary/primary с поднятым LVM. И только для 2ух серверов.
Виртуализация KVM.

Надежных хранилищ к сожалению нет в наличии, поэтому и хочется реализовать на имеющихся системах.

[xdeller]

Ну вам таки надо атомарную копию фс или отдельных сервисов? ФС очень дорого по ресурсам, если хотеть горячую копию с секундной задержкой, а вот сервисы вполне себе можно бекапить в полете. Да, и в общем, миграция и реалтаймовый бекап — разные штуки, для первого достаточно искази, для второго искази или дрбд и плюс все это будет дико жрать ресурсы. Уточните, что именно хочется получить. У меня ксен с живой миграцией через исказю и лвм живет замечательно.

Answer 5

[slimlv]

ceph? в ваниле начиная с 32! =)

Comments

[Qk4l]

Почитал, (раньше про нее неслышал). Это монстр наподобие люстры. Очень большой :)

[Qk4l]

Затестил, супер, вроде все как надо, только вот:

Is Ceph ready for use in a production environment?
12:03 sagewk_: would you say ceph could be used in a production environment at this point?
12:04 <sagewk_> iggy: absolutely not. still heavily under development :)

Answer 6

[aib]

Hadoop FS?