ceph это распределённая файловая система. Это совершенно не то, что надо.
Условно, у меня есть СХД - она уже обеспечивает резервирование, отказоустойчивость и всё такое. С неё по iSCSI я отдаю LUN, и имею к нему блочный доступ. Очевидно, что нужно разруливать блокировки, при доступе к этому тому с нескольких серверов одновременно. Эту проблему решают кластерные ФС. У vmware это vmfs, у майкрософта это Claster Shared Volume.
Не может быть, чтобы на линуксе эту проблему никто не решил.
Я вот пока нашёл что с помощью LVM под каждую виртуалку, нарезают свой vdisk. Вроде как это общепринятый вариант работы с iSCSI для KVM гипервизора. Решение выглядит для меня не традиционным, но кажется должно работать.
Собственно, про то и речь. Что вариантов которые "вроде работают" я нашёл много. Почти к каждому можно найти замечания в духе "это ещё не готово к продакшену". Но ведь эту задачу не один я решаю, она должна решаться тысячами людей по всему миру - регулярно, каждый день. Дисковые FC/iSCSI полки не вчера придумали, к ним как то надо давать доступ гипервизорам.
Неужели нету какого то "одного точно работающего у всех пути".
LizardFS это вроде не то. Это из разряда GlusterFS, Ceph и прочие - распределённая ФС. А мне надо именно чтобы был конкурентный доступ к одному блочному устройству с разных узлов.
В итоге я остановился на StarWind Virtual SAN Free и гиперконвергированном решении. Подергал в лабораторном окружении как мог (ресурсы ограничены), в целом работает круто. У StarWind очень хорошие гайды, покрывающие как раз мой случай.
Из минусов - жуткий оверхед для отказоустойчивости (фактически из 8(!!!) 4TB дисков получаем всего 8 терабайт места, при исползовании рейд10). Из плюсов - отлично работает на двух нодах, маштабируется без проблем до трёх. Может на моих маштабах синхронизироваться по гигабитному или паре гигабитных линков.
ScaleIO работает к примеру от 3+ нод, и очень хочет 10 гигабит...
Условно, у меня есть СХД - она уже обеспечивает резервирование, отказоустойчивость и всё такое. С неё по iSCSI я отдаю LUN, и имею к нему блочный доступ. Очевидно, что нужно разруливать блокировки, при доступе к этому тому с нескольких серверов одновременно. Эту проблему решают кластерные ФС. У vmware это vmfs, у майкрософта это Claster Shared Volume.
Не может быть, чтобы на линуксе эту проблему никто не решил.
Я вот пока нашёл что с помощью LVM под каждую виртуалку, нарезают свой vdisk. Вроде как это общепринятый вариант работы с iSCSI для KVM гипервизора. Решение выглядит для меня не традиционным, но кажется должно работать.