Чем можно заменить DRBD?

Question

[Дима Петров]

Чем можно заменить DRBD ?
У нас работает два сервера в двух разных ДЦ и есть общий диск построенный на DRBD, он от 3 - 4 раз за неделю разваливается, уже надоело. Есть предложения как можно заменить кроме ISCSI.

на сервере крутится виртуализация

Спасибо.

Comments

[ldv]

Переделать архитектуру под другой тип репликации? Mysql например.

[Дима Петров]

ldv: на сервере крутится виртуализация и синхронизируются виртуалки.

[ldv]

Дима Петров: и? Виртуалки же что-то делают.

[Дима Петров]

ldv: кроме drbd работает кластер, и с этого raidа запусакется вируталка на разных нодах.
думали пойти таким путем, но слишком много гемороя, проще синхронизировать сразу все.

Answer 1

[Армянское Радио]

ceph-rbd

Только надо, чтобы канал был потолще, иначе она будет разваливаться также, как DRBD.

И учтите, что для нее желательно не заводить RAID, а использовать отдельный процесс osd на каждый диск.

Comments

[Дима Петров]

у нас канал только 100Мб.

[Армянское Радио]

Дима Петров: А интенсивность записи данных на диски какая? Она не должна, в таком случае, превышать 70 мегабит. Иначе получается анекдот про кисоньку.

[Дима Петров]

записывается что то редко и мало, раз 10с. один запрос на чтение и на запись в базу.
пока вроде нормально.

У нас диск разваливается при потере связи на пару секунд, но при этом дц говорит что проблем не было.

[Армянское Радио]

Дима Петров: Ну, ceph с этим справится, только crushmap надо правильно отстроить, чтобы реплики были в обоих ДЦ.

[Дима Петров]

Армянское Радио: читаю про cephRDB не могу понять можно ли raid 1 по сети построить если есть только два сервера.

[Армянское Радио]

Дима Петров: Можно, pool size = 2 нужно указать. Но лучше иметь 4 сервера.

[Дима Петров]

Армянское Радио: cephRDB читаю тут инструкции как его поднять, не совсем могу понять, он как все таки работает, в итоге я получу какойто диск, ВМ нужно как то настраивать для работы с ним ?

и LVM c ним может работать ?

[Армянское Радио]

Дима Петров: Вы можете получить либо блочное устройство, либо файловую систему.

qemu может работать с ceph без посредников

lvm тут будет лишним звеном.

[Дима Петров]

я на drbd синхронизировал 2 диска, а через кластерный lvm создаю тома и на них ставлю виртуалки, используется диск на 2ТБ, если без lvm то как виртуалке отдать только часть диска ?

[Армянское Радио]

Дима Петров: Создавайте различные rbd

[Дима Петров]

обе ноды могут быть mon_host ?

[Армянское Радио]

Дима Петров: одна будет в standby

[Дима Петров]

а при отключении одной другая в перейдет в standby ? правильно ?

[Армянское Радио]

Дима Петров: IO будет заморожен. Кластер из двух нод лучше не делать - при падении связи, не ясно, что делать с нодами.

Answer 2

[jidckii]

Может Gluster FS ??

Answer 3

[bataron2008]

Вчера нашел стаью, возможно Вам поможет.

Кэш на запись и DRBD, в ней описана наверное основная проблема падения...

Всего два режима можно считать надёжными при использовании с DRBD: directsync и writethrough. Первый не использует кэширование вообще, т.е. читает всегда напрямую с блочного устройства (это может быть RAID контроллер) и пишет в блочное устройства (это может быть RAID контроллер) обязательно дожидаясь подтверждения записи. Второй режим использует «host cache» для чтения.
Таким образом, система виртуализации может стать катастрофически медленной, если вы не используете физический RAID с кэшированием за запись и BBU. А если вы используете RAID с BBU, то виртуальная машина получит подтверждение о записи сразу же после помещения данных в кэш контроллера.

P.S.: под спойлером ссылка на статью, это не реклама.

spoiler

https://habr.com/post/219295/