Кластерная ФС (Аналог VMFS, Cluster Share Volume) на Linux?

Question

[Сергей]

Ищу подход к решению известной задачи - организация общего хранилища для кластера гипервизоров. Есть iSCSI таргет, там есть LUN, на котором будут лежать виртуалки. Необходимо как то организовать конкуретный доступ к одному блочному устройству с разных серверов.

На VMWare это решается наличием VMFS. У майкрософта есть Cluster Shared Volume. Как эта задача стандартно решается на linux? Вот можно прямо ткнуть в годный мануал носом. Я не смог нагуглить ничего вразумительного, похоже я как то не так спрашиваю.

Answer 1

[Дмитрий Шицков]

Здесь есть неполный список кластерных ФС.
https://en.wikipedia.org/wiki/Clustered_file_syste...
Можете попытаться поизучать достоинства и недостатки, если вам не посоветуют ничего конкретного.

LizardFS: https://habr.com/ru/post/343326/

Comments

[Сергей]

Собственно, про то и речь. Что вариантов которые "вроде работают" я нашёл много. Почти к каждому можно найти замечания в духе "это ещё не готово к продакшену". Но ведь эту задачу не один я решаю, она должна решаться тысячами людей по всему миру - регулярно, каждый день. Дисковые FC/iSCSI полки не вчера придумали, к ним как то надо давать доступ гипервизорам.

Неужели нету какого то "одного точно работающего у всех пути".

LizardFS это вроде не то. Это из разряда GlusterFS, Ceph и прочие - распределённая ФС. А мне надо именно чтобы был конкурентный доступ к одному блочному устройству с разных узлов.

[Дмитрий Шицков]

Думаю, в бродакшене чаще используют проприетарные системы. Никогда не решали задачи, как ваша, поэтому ничего сказать не могу.

LizardFS не рапсределенные ФС, GlusterFs, Ceph - да. В целом, все 3 предоставляют конкуретный доступ на уровне блоков.

[Wexter]

Дмитрий Шицков, чоэта gluster не распределённая?

[Дмитрий Шицков]

Wexter, да, заблудился что-то. Распределенная

Answer 2

[Руслан Федосеев]

ceph

Comments

[Сергей]

ceph это распределённая файловая система. Это совершенно не то, что надо.

Условно, у меня есть СХД - она уже обеспечивает резервирование, отказоустойчивость и всё такое. С неё по iSCSI я отдаю LUN, и имею к нему блочный доступ. Очевидно, что нужно разруливать блокировки, при доступе к этому тому с нескольких серверов одновременно. Эту проблему решают кластерные ФС. У vmware это vmfs, у майкрософта это Claster Shared Volume.

Не может быть, чтобы на линуксе эту проблему никто не решил.

Я вот пока нашёл что с помощью LVM под каждую виртуалку, нарезают свой vdisk. Вроде как это общепринятый вариант работы с iSCSI для KVM гипервизора. Решение выглядит для меня не традиционным, но кажется должно работать.

Answer 3

[athacker]

Ну так и отдайте гипервизорам прямо по iSCSI этот LUN. Они, как правило, сами разбираются. ESXi, Hyper-V, KVM сами понимают, что если iSCSI storage, то они на этом луне не одни, и работают соответственно.

Либо, если вам нужно ещё и сами файлы виртуалок зачем-то глазками просматривать -- раздайте датастор по NFS.

Comments

[Евгений Намчук]

Hyper-V не умеет NFS Datastore, а использование общего NTFS/ReFS раздела одновременно на нескольких хостах приведёт к его гарантированному повреждению.