Периодически пропадает оптический линк?

Question

[makksimo]

Всем доброго дня.
Совсем отчаялся решать проблему периодически отваливающегося линка.
История следующая:
Купили 2 сервера на amd epyc rome. Отдельно докупили в каждый по сетевой карте Intel X722-DA2. Установил win2019. 3 порта смотрят из сервера 1 в сервер 2 и по одному порту из каждого сервера в свитч. Заметил неприятную вещь, с какой то периодичностью отваливаются линки на рандомных портах, но после ребута с выключением "из розетки" линки восстанавливаются. Если несколько раз включать и выключать линки продолжают отваливаться, происходит все непредсказуемо. Драйвера сначала самой ОС, потом с сайта интел, ситуация не поменялась.
Сначала грешил на dac кабели, поменяли на оптические, ситуация такая же. Отвозили в сервисный центр, там сказали, что поменяли карты, хотя тут конечно есть вопрос. Зря я не сохранил маки портов... может просто сказали, что поменяли. Любопытно, что после замены карты (как заявили в сервисном центре) названия соединений остались прежними, но может быть так и должно быть, не уверен...
В общем поменяли все что можно, а ситуация не поменялась.. Записал видео с моментом, когда порт взбесился. Я не сетевик, может кто подскажет, что происходит?
Видео ТУТ.

Comments

[Армянское Радио]

А соединения-то настроены? Или просто кабелей натыкали?

[ComodoHacker]

Заглянуть в журналы не возникало мысли? :)

[fdroid]

Что за серверы? Модель? Сетевая карта есть в списке совместимых QVL?

[Vitsliputsli]

3 порта смотрят из сервера 1 в сервер 2 и по одному порту из каждого сервера в свитч

У вас все объединено в кольцо и серверы прокидывают приходящие пакеты дальше?! Нарисуйте схему соединений. Какие именно соединения отваливаются? Чего с чем и с какой стороны наблюдаете?
А то такое ощущение, что у вас там начинается сетевой шторм, а умный свитч обнаруживает кольцо и закрывает один из портов на некоторое время. Ну и у свитча есть свой лог, его тоже нужно читать.

[makksimo]

fdroid, RS700A-E9-RS12V2, заверили, что поддерживается.
Фокс Йовович, что значит настроены? проблема на нижнем уровне, проблема с физическим линком.
ComodoHacker, проблема проявляется на уровне биоса, в том числе, почему-то по этой причине не смотрел в журнал. Глянул:
Информация:
1. Enhanced Transmission Selection feature has been enabled on a device. {ff ff ff ff ff ff}
2. Enhanced Transmission Selection feature on a device has changed to operational. {ff ff ff ff ff ff}
3. Application feature has been enabled on a device. {ff ff ff ff ff ff} (FCoE)
4. Application feature on a device has changed to operational. {ff ff ff ff ff ff} (FCoE)
Ошибки:
5. Enhanced Transmission Selection feature on a device has changed to non-operational. {ff ff ff ff ff ff}
6. Application feature on a device has changed to non-operational. {ff ff ff ff ff ff} (FCoE)

В системе:

Intel(R) Ethernet Network Adapter X722-4 #4
PROBLEM: Flow Control disabled on this interface. For RDMA traffic, it is recommended that flow control be enabled end to end on all network interfaces and switches to avoid performance degradation from dropped packets.
ACTION: Enable link level flow control or priority flow control for network direct port 445 on this interface.

Intel(R) Ethernet Network Adapter X722-4 #4

Rdma receive window set to 0x3EBC0.

Intel(R) Ethernet Network Adapter X722-4 #4
Network link is disconnected.

Intel(R) Ethernet Network Adapter X722-4 #4

Flow Control enabled on this interface. For RDMA traffic, it is recommended that flow control be enabled end to end on all network interfaces and switches to avoid performance degradation from dropped packets.

и по циклу.

Но мне кажется это не говорит о причине проблемы...

[makksimo]

Vitsliputsli, 3 адаптера сервер - сервер, настроен lacp lb. по одному порту каждый сервер смотрит в свитч. Почему шторм?

[Vitsliputsli]

makksimo,

3 адаптера сервер - сервер, настроен lacp lb. по одному порту каждый сервер смотрит в свитч

То ли я туплю, то ли это кольцо, но не зная схему это лишь догадки. Вы уже поменяли адаптеры и кабели, тем не менее отключение линка происходит на "рандомных" портах и отключение физическое. Мое предположение, лишь догадка, исходя из вышеперечисленного. Но зачем гадать, читайте логи.
Выше я так понимаю логи Винды? Смотрите логи свитча. Какие порты гаснут? Те, которые идут к свитчу или нет?

[makksimo]

Vitsliputsli,
адаптер 1 (сервер 1) - адаптер 1 (сервер 2)
адаптер 2 (сервер 1) - адаптер 2 (сервер 2)
адаптер 3 (сервер 1) - адаптер 3 (сервер 2)
адаптер 4 (сервер 1) - свитч
адаптер 4 (сервер 2) - свитч
Где тут кольцо?
Порты глючат все, рандомно и те которые к свитчу и те которые карта - карта.

[Akina]

Где тут кольцо?

Сервер1-сервер2-свитч-сервер1. Чем не кольцо?

[makksimo]

Akina, то, что вы написали, это не одна, а разные сети не связанные друг с другом.

[Akina]

makksimo, только при условии что ни на одном из серверов не включена маршрутизация. Но и в этом случае обнаружение одного и того же ресурса на разных интерфейсах с разными адресами счастья серверам не добавит.

3 порта смотрят из сервера 1 в сервер 2

Они хотя бы объединены в один логический интерфейс?

[makksimo]

Akina, написано же, разные сети, никакой маршрутизации. Выше написал, что настроен lb (nic teaming) через lacp на тех портах, которые сервер - сервер.

[Akina]

makksimo, но я как-то не наблюдаю у Вас в сетевом окружении интерфейса группы карт... все имеющиеся интерфейсы - это интерфейсы отдельных физических устройств. Так, чисто для проверки - покажите вывод IPCONFIG и Get-NetAdapter | FT -auto.
А ещё емнип для NIC teaming в Windows Server все сетевые карты группы должны иметь одинаковую скорость.