Нормально ли будет использовать сетевой интерфейс, по которому iscsi хранилище подсоединяется, еще и для ceph?

Question

[Николай Савельев]

Стоит хранилище подключенное по iscsi к серверам. В каждом сервере по 2 двухпортовых карты на 10 гигабит - одна для виртуалок, вторая для подключения iscsi.
В старых серверах не было места для дополнительных дисков, а в новых - 6 свободных для sas ssd 2'5''.
Руки чешутся попробовать ceph, в используемом proxmox он вроде легко и просто настраивается. Причем по некоторым отзывам работает шустрее чем выделенная хранилка.
Правда так как все сетевые интерфейсы заняты, возник вопрос - нормально ли будет использовать сетевой интерфейс, по которому iscsi хранилище подсоединяется, еще и для ceph? Или лучше даже не пытаться?

Answer 1

[Армянское Радио]

Работать будет. А как будет работать - зависит от профиля нагрузки. Если у вас меньше трех серверов, это будет скорее проблема, чем решение.

Еще один вопрос - как сконфигурированы карты?

Comments

[Николай Савельев]

Серверов больше 3х.
На картах статические адреса в разных сетях. Второй конец в коммутатор с разными vlan.

[Армянское Радио]

Николай Савельев, итого, 4 сети? Вот это уже может стать проблемой, потому что CEPH хочет иметь одну или две. Почитайте про архитектуру CEPH.

[Николай Савельев]

Может я, конечно, чего-то не понимаю, но что препятствует указать в настройках ceph только один интерфейс?

[Армянское Радио]

Николай Савельев, У вас есть 4 тысячи баксов, но вы разрешили себе пользоваться только одной. Улавливаете идею?

CEPH очень сильно любит сетевое IO. Как правило, именно оно (ну и диски, понятное дело) определяет итоговое количество IOPS

[Николай Савельев]

Армянское Радио, нет, не улавливаю. 2 интерфейса из 4х в любом случае не планировалось использовать под диски, они для виртуалок. Не вижу проблемы в том, чтобы из оставшихся двух отдать для ceph только один.

[Армянское Радио]

Николай Савельев, ну будете ждать бекфилл / балансировку чуть подольше, а также иметь не такой высокий показатель IOPS, который могли бы получить

Answer 2

[ramiil]

Я считаю, что это плохая практика. Во-первых, цеф прожорлив, и кроме iscsi траффика у вас по той же сетке будет ходить и служебный трафик цефа, и трафик приложений. Это может вызвать "заторы". Но т.к. у вас по две 10gbit сетевые карты, почему бы не сделать бонд, поверх которого сделать виланы и каждому вилану назначить гарантированную пропускную способность?

Comments

[Николай Савельев]

Трафик приложений на отдельных интерфейсах. 2 интерфейса 10gbit для iscsi multipath. На них планировал и ceph повесить.