Infiniband по двум портам?

Question

[Дима Петров]

возможно ли двух портовой картой объединить два сервера по двум портам ?

https://www.xcom-shop.ru/mellanox_technologies_mcx...

сейчас если подключить по двум портам, карта либо вообще перестает работать, либо один порт ACTIVE а второй INIT.

Спасибо.

Answer 1

[Алексей Черемисин]

У вас opensm запущен на одном из хостов? По идее должно работать.

Comments

[Дима Петров]

один порт работает стабильно, второй нет, не может пройти инициализацию.

два одновременно не может пройти инициализацию.

[Алексей Черемисин]

Opensm запущен? Это демон программной насторйки фабрики.
Он должен быть один на фабрику.

[Алексей Черемисин]

opensm attaches to a specific IB port on the local machine and configures only the fabric connected to it. (If the local machine has other IB ports, opensm will ignore the fabrics connected to those other ports). If no port is specified, it will select the first "best" available port.

На одном сервере запустите opensm на первом порту, на втором сервере - на второй порт.

[Дима Петров]

Алексей Черемисин, не понимаю как указать opensm.

в мане не увидел ключа.

[Дима Петров]

кажется разобрался.

там порт GUID обозначается
получил через ibstat
прописал в конфиг
/etc/rdma/opensm.conf

и он повис на нужный порт.

спасибо.

Answer 2

[PolinaRuRu]

Одна сущность OpenSM может работать только на одном линке.
В случае с двухпортовыми картами каждый линк является независимой фабрикой. Чтобы второй линк заработал, в его фабрике должен быть другой OpenSM.
Разные сущности проще расположить на разных хостах.

Comments

[Дима Петров]

вообще так делают, подключают два пк по двум портам ?

[PolinaRuRu]

да, можно сделать. У нас, правда, через свич это дело. А там уже одна фабрика получается - один OpenSM нужен.