STP в IBM NOS, как?

Question

[apetropolsky]

Приветствую.


Имеется ситуация следующего вида:


Блейд-шасси IBM Blade Center H, в нём два коммутатора IBM BNT Virtual Fabric Switch Module с идентичными настройками, назовём их BNT1 и BNT2 для ясности. Каждый из них подключен по одному линку к Cisco 6509. До кучи, между этими двумя BNT есть прямой линк. Для отключения избыточного линка и во избежание петель в сети на коммутаторах используется PVRST, в котором имеется 128 Spanning Tree Group. По мере заведения на коммутаторе новых виланов, количество свободных STG иссякло, и все новые автоматически добавляются в дефолтную STG за номером 1. Проблемы начались, когда в stg 1 на BNT1 попал седьмой по счёту (в этой группе) вилан. Симптоматика проблем следующая:


1. Назначение портов в группе меняется каждую секунду. Должно быть так:

EXT1           128    20000!   DISC  ALTN мак-адрес соседнего коммутатора     8011  P2P - линк к соседу

EXT5           128    20000!   FWD   ROOT мак-адрес Cisco 6509     9116  P2P - линк к шеститоннику

А бывает вот так:

EXT1           128    20000!   FWD   ROOT мак-адрес соседнего коммутатора     8011  P2P

EXT5           128    20000!   DISC  DESG свой собственный мак-адрес     8015  P2P

Или вот так:

EXT1           128    20000!   DISC  DESG мак-адрес соседнего коммутатора     8011  P2P

EXT5           128    20000!   FWD   ROOT мак-адрес Cisco 6509     8916  P2P

Или даже так:

EXT1           128    20000!   DISC  ALTN мак-адрес соседнего коммутатора     8011  P2P

EXT5           128    20000!   DISC  DESG свой собственный мак-адрес     8015  P2P

2. Шеститонник видит на обоих интерфейсах, которыми он подключен к этим BNT, свои же собственные фреймы.

3. По обоим портам к шеститоннику приходят BPDU от BNT1.

4. В вилане, который является седьмым по счёту, вне зависимости от его VLANID, пакеты идут через один. На один ответ — один потерянный.


Есть ли у уважаемого сообщества идеи, как с этим бороться, не перезагружая коммутатор? А то у меня что-то идеи кончились, и осталась только мысль о том, что это глюк, который вылечится ребутом.

Answer 1

[JDima]

128 инстансов STP — это много, очень много. В том числе для шеститонника. Если нет причин, по которым надо держать деревья различными для каждого VLANа — переходите на MST, благо судя по докам NOS поддерживает его. Тогда останется пара STG на хоть тыщу VLANов, с мгновенной сходимостью.

все новые автоматически добавляются в дефолтную STG за номером 1

Это — плохая ситуация, непредсказуемая. MST рассчитан на то, чтобы держать одно дерево на кучу VLANов даже стыкуясь с PVRST (но рут должен быть в пределах области MST). В вашем случае это не так. Любой TCN может сдуть IBMовской железке крышу. Это, похоже, и происходит. Сильно сомневаюсь, что ребут решит проблему — ваша конфигурация неподдерживаема.

Comments

[apetropolsky]

Спасибо за ответ. Есть некоторые уточнения:

128 инстансов STP — это много, очень много. В том числе для шеститонника.

Это не на шеститоннике, это на BNT.

Далее: для того, чтобы сменить тип STP, нужна перезагрузка коммутатора, насколько я понимаю. Это первое. Второе — эта ситуация, кроме того, что историческая, так ещё и, кажется, дефолтная. То есть, никакой тонкой и дополнительной настройки STP на этих коммутаторах не производилось. До кучи, коммутатор не может определиться, по какому из протоколов он работает. Он умеет работать со следующими типами:

— 802.1d
— RSTP
— MSTP
— PVRST

Инфо о STG говорит о том, что это PVRST прямым текстом, приоритет для STG невозможно выставить больше 61440, что указывает на то, что это MSTP/RSTP, однако, при этом, попытка добавить vlan в stg через раздел конфигурирования vlan говорит о том, что это 802.1d, поскольку это единственный из вариантов, в котором доступны 128 групп на выбор. В RSTP доступен 1 инстанс, в MSTP — 32. Как это понимать, как Вы считаете?

[JDima]

Это не на шеститоннике, это на BNT.

Но до шеститонника ведь транк идет?

для того, чтобы сменить тип STP, нужна перезагрузка коммутатора

Если это и так (понятия не имею) — дело благое. Но в www-01.ibm.com/support/docview.wss?uid=isg3T7000461&aid=1 о ребуте ничего не сказано. Но да, небольшой даунтайм на сколько-то секунд наверняка будет.

никакой тонкой и дополнительной настройки STP на этих коммутаторах не производилось.

Пришла пора произвести.

попытка добавить vlan в stg через раздел конфигурирования vlan говорит о том, что это 802.1d, поскольку это единственный из вариантов, в котором доступны 128 групп на выбор.

Судя по доке, это не CST, а именно PVRST. Вообще, шеститонник подскажет, что там согласовалось. Забавно и непривычно наличие именно RST (который не per-vlan). Есть мнение, что им не стоит стыковаться с PVRST у шеститонника — опять же, шеститонник считает, что есть по дереву на VLAN, и передает BPDU и TCN для каждого VLAN, что выльется непонятно во что.

В общем, в вашей ситуации миграция на MST определенно нужна. В рамках всей сети разумеется.

[apetropolsky]

Но до шеститонника ведь транк идет?

Ну, да, разумеется.

шеститонник считает, что есть по дереву на VLAN, и передает BPDU и TCN для каждого VLAN

Что-то я не могу понять вот какую вещь: если шеститонник считает, что есть по одному дереву на VLAN, то как он тогда обрабатывает 7 VLAN в одном дереве, в случае с STG 1?

И вот какой вопрос меня ещё смущает: почему колпак сносит только у одного из двух коммутаторов, если настройки и количество VLAN на них идентичные?

[JDima]

Ну, да, разумеется.

То есть и у слабого на голову (в смысле control plane) 6500-го over 128 VLANов. Надо помнить, что у каталистов процесс STP имеет тот же приоритет, что и SNMP, и многое другое — medium. В результате у вас может быть ОЧЕНЬ долгая сходимость после изменений топологии.

если шеститонник считает, что есть по одному дереву на VLAN, то как он тогда обрабатывает 7 VLAN в одном дереве, в случае с STG 1?

Мне кажется, он содержит по инстансу на каждый VLAN, но BNT игнорирует все кроме одного. И если вдруг шеститонник решит, что топология для разных VLANов из одного IBM'овского STG должна быть разной — вы запросто получите луп.

почему колпак сносит только у одного из двух коммутаторов, если настройки и количество VLAN на них идентичные?

Понятия не имею — я про эти железки ничего не знаю. Однако, в любом случае вы имеете очень паршивую конфигурацию, от которой следует избавиться. Следование фен-шую наверняка разрешит вашу проблему.

[apetropolsky]

А какой профит нам даст переход на MST в случае, когда виланов огромное количество, и топология одинакова далеко не для всех? Тут как раз в PVST мне видится профит, то есть, именно в том варианте, который мы сейчас и используем. Одна беда — BNT не поддерживает PVST.
И, да: на шеститоннике руками задан самый низкий приоритет в сети, то есть, на нём самом топология может измениться только в случае падения портов.

Мне кажется, он содержит по инстансу на каждый VLAN, но BNT игнорирует все кроме одного.

В каком смысле «игнорирует»? Я так понимаю, что если бы он это игнорировал, мы бы получили расколбас по всем виланам, кроме одного, а не наоборот, как сейчас. Или я не прав?

Кстати, ребут нас действительно не спасёт, поскольку я сумел повторить аналогичную ситуацию на втором коммутаторе.

[JDima]

топология одинакова далеко не для всех

Если она имеет вариации на edge портах (allowed vlan'ы разные), то никаких проблем. MST для того и предназначен. Он даже может стыковаться по PVRST с другими свитчами, главное чтобы рут для всех был внутри MST.
Под топологией я понимаю состояния транков между свитчами.

если бы он это игнорировал, мы бы получили расколбас по всем виланам, кроме одного, а не наоборот, как сейчас.

Без детальной информации по STP со стороны циски и айбиэма ничего сказать нельзя.

[apetropolsky]

Если есть желание и интерес поразбираться в этих граблях, могу необходимую инфу (по IBM, как минимум) кинуть в личку. Если нет, то спасибо за помощь, будем думать дальше самостоятельно и тестировать разные сценарии в песочнице.

[JDima]

Желания нет :)
Но если в спеках сказано «128 инстансов STP и ни граммом больше», то логично, что надо что-то радикально менять в текущей архитектуре. Если L2 сеть мелкая (судя по описанию, так оно и есть) — миграция всего на MST займет 10 минут чесания затылка/созерцания потолка и десяток-два секунд даунтайма в худшем случае. Причем вполне возможно, что поднимать MST придется только на 6500 (ибо рут) и на железках с аналогичными ограничениями по числу инстансов. Но лучше сразу везде.

[apetropolsky]

=))) Сеть-то как раз не мелкая, просто моё описание касается одного, не самого крупного, сегмента на полторы сотни виланов. И миграция на MST — это вопрос очень непростой, в текущей ситуации.

В общем, спасибо за советы, посмотрим, что получится сделать.