Распределенный кластер на Proxmox. Что посоветуете?

Question

[Рафаиль Бектемиров]

Добрый день!

Есть задача сделать распределенную систему. Среду виртуализации выбрали Proxmox. Географически, не только физически разнесены по разным городам сервера.
Что хочется:
1. Что бы каждый сервер тянул свою часть систем, условно половину.
2. Если будет падение или остановка одной части, то вторая берет на себя. Не обязательно мгновенно, думаю на первом этапе будет возможно и восстановка из бэкапа машин.
3. Ну и конечном этапе - это автономная работа и минимально вмешательство админа.

Вопросы:
1. Насколько нужно Cheph ?
2. Настраивать кластер Proxmox и какие есть нюансы?
3. Трафик между нодами - советы по организации канала?
4. Совет по организации общего хранилища или будет достаточно на каждой ноде своего?
5. В общем какие подводные камни для распределенной системы?

Answer 1

[Vladimir Zhurkin]

Вопросы:
1. Насколько нужно Cheph ?
2. Настраивать кластер Proxmox и какие есть нюансы?
3. Трафик между нодами - советы по организации канала?
4. Совет по организации общего хранилища или будет достаточно на каждой ноде своего?
5. В общем какие подводные камни для распределенной системы?

Вначале отвечу на вопросы, а потом несколько дополню по вашей ситуации.

Ceph в вашем положении нужен и позволит избежать затрат на дорогие СХД. Вопрос, что лучше CEPH или СХД больше риторический. Провалы есть и там и там и в основном от незнания работы компонентов. Могу сказать одно, cpeh в продакшен готов !

Кластер на proxmox имеет только наверно один и не сразу очевидный ньюанс, нужна поддержка multicast.

Трафик между нодами должен быть в рамках одного ДЦ. Как в общем и хранилище ceph.
Ceph как хранилище самих VM должны иметь 10gb или infinity band , faber channel не предлагаю, так как он устарел. (с моей точки зрения).

Проб общие хранилище, вопрос немного непонятен.
Если вы делаете кластер то у вас в любом случаи будет уже хранение данных где-то вне.
Как вариант 3 сервера с которые будут держать VM и 1 СХД/CEPH сервер.
Понятно, что тут точка отказа будет 1 схд и его надо увеличить хотя бы до 3х. Дальше точка отказа будет сетевое оборудование итд. Построение зависит от того, сколько вы можете вложить денег и на какие риски готовы пойти.

Теперь будет ответ на пятый вопрос и мое видение.
Если у вас есть некое приложение, то его обычно делают отказоустойчивым и стараются размазать на разные ДЦ итд. С виртуальными машинами такой номер не проходит, увы они все живут в приделах своего ДЦ. Да , конечно условно можно перетащить в другой. Это примерно похоже на работу ВМ в amazone,digitalocean и миграция из региона в регион. Так делать вполне можно, но сама конфигурация в приделах ДЦ никуда не уходит.

Буду вопросы задавайте.

Answer 2

[Пума Тайланд]

1)а как вы хотите синкать данные ?
2)смотря что у вас за приложение и бд, гео на проксмоксе я бы не советовал поднимать.
3) у вас есть возможность купить оптический линк между дц? просто это очень дорого
4) зависит от приложений
5) полно подводных камней.

Comments

[Рафаиль Бектемиров]

1) синхронизировать - хоть чем, хоть простым копированием по расписанию
2) что посоветуете?
3) нет
4) согласен, но это просто виртуальные машинки с виндой в основном - офис в общем
5) ?

[Пума Тайланд]

1) в данном случае у вас просто не связанные инсталяции проксмокса и все остальные вопросы отпадают.
2) советую не настраивать в ключе первого ответа
3) тогда тоже не понятно зачем этот вопрос , если вы не можете даже линк купить.
4)На видне может крутиться точно так же много всего каки на линуксе, если просто офис то вообще зачем там что то синкать, используйте облако для хранения доков и все.
5)для вас они не актуальны