Вопросы:
1. Насколько нужно Cheph ?
2. Настраивать кластер Proxmox и какие есть нюансы?
3. Трафик между нодами - советы по организации канала?
4. Совет по организации общего хранилища или будет достаточно на каждой ноде своего?
5. В общем какие подводные камни для распределенной системы?
Вначале отвечу на вопросы, а потом несколько дополню по вашей ситуации.
Ceph в вашем положении нужен и позволит избежать затрат на дорогие СХД. Вопрос, что лучше CEPH или СХД больше риторический. Провалы есть и там и там и в основном от незнания работы компонентов. Могу сказать одно, cpeh в продакшен готов !
Кластер на proxmox имеет только наверно один и не сразу очевидный ньюанс, нужна поддержка multicast.
Трафик между нодами должен быть в рамках одного ДЦ. Как в общем и хранилище ceph.
Ceph как хранилище самих VM должны иметь 10gb или infinity band , faber channel не предлагаю, так как он устарел. (с моей точки зрения).
Проб общие хранилище, вопрос немного непонятен.
Если вы делаете кластер то у вас в любом случаи будет уже хранение данных где-то вне.
Как вариант 3 сервера с которые будут держать VM и 1 СХД/CEPH сервер.
Понятно, что тут точка отказа будет 1 схд и его надо увеличить хотя бы до 3х. Дальше точка отказа будет сетевое оборудование итд. Построение зависит от того, сколько вы можете вложить денег и на какие риски готовы пойти.
Теперь будет ответ на пятый вопрос и мое видение.
Если у вас есть некое приложение, то его обычно делают отказоустойчивым и стараются размазать на разные ДЦ итд. С виртуальными машинами такой номер не проходит, увы они все живут в приделах своего ДЦ. Да , конечно условно можно перетащить в другой. Это примерно похоже на работу ВМ в amazone,digitalocean и миграция из региона в регион. Так делать вполне можно, но сама конфигурация в приделах ДЦ никуда не уходит.
Буду вопросы задавайте.
