Циклическое падение локальной сети (раз в 3-4 дня) и «широковещательный шторм»?

Question

[Iindexxx]

Раз в 3-4 дня полностью «ложится» сеть в учебном заведении. Интернет пропадает как на узле раздачи, так и во всей локальной сети. Характерный симптом: в момент аварии индикаторы на неуправляемых свитчах начинают мигать синхронно (похоже на широковещательный шторм). Проблема началась в середине-конце января, до этого система работала стабильно полгода.

Топология сети:

Вход: Оптический терминал (ZTE/Huawei) — LOS не горит, сигнал от провайдера в норме.
Разделение: От терминала идет два линка: один на Модем 12 (автономно), второй на хаб TP-Link (узел директора).
Узел директора: Хаб TP-Link распределяет сигнал на ПК директора, два Wi-Fi роутера (назовем их №10 и №11) и магистральный кабель (длинная линия) в компьютерный класс.
Компьютерный класс: Магистраль заходит в каскад из двух хабов Tenda.
Конечные точки: От хабов Tenda запитаны ПК класса.
Особенности монтажа: Узел директора часть бухты провода находится прям около батареи, часть которую мог вынуть я вынул, не исключено что что-то осталось, хаб находится тоже в батарейной нише, но без батареи и там не жарко. Подозреваю локальный перегрев оборудования в пик отопительного сезона.

Что уже было предпринято:

Физика: Кабели в узле директора переподключены в другие порты. Лишние «хвосты» (патч-корды, никуда не ведущие) удалены. Бухта кабеля частично убрана от батареи.
Диагностика: После перетыкания «входящего» кабеля в хаб директора сеть оживает на 3-4 дня, синхронное мигание прекращается.
Настройки: На конечных Wi-Fi роутерах (№10 и №11) проверено отсутствие петель (loopback), кабели воткнуты в LAN-порты.

Вопросы:

Может ли перегрев неуправляемого свитча (или его блока питания) вызывать такой эффект именно с цикличностью в несколько дней?
Похоже ли это на конфликт DHCP (время аренды адресов как раз совпадает с периодом падений)?
Какие еще факторы могут вызывать «зависание» всей ветки, если физическая петля исключена?
Стоит ли копать в сторону замены БП или установки активного охлаждения в нишу?

Comments

[Akina]

А у вас точно хабы? потому как по нынешним временам хаб можно разве что украсть в музее...
Вообще правильно было бы нарисовать всю топологию сети с указанием точных моделей каждого устройства. И длин кабелей, на всякий случай.

Перегрев оборудования может приводить к любым, даже самым идиотским, проблемам - в том числе и к описанной. Я бы вообще потребовал замены устройства "хаб TP-Link (узел директора)" на что-нибудь вменяемое, а также проложил вторую линию в класс, чтобы устройства там сидели каждый на своей линии, а не последовательно.

На конфликт DHCP это не сильно похоже. Но кто мешает посмотреть логи DHCP-сервера? Тем более что вы говорите, что обычное перетыкание в другой порт восстанавливает работоспособность всей сети, то есть ребута устройств нет. Ну или поставьте себе на комп лог-сервер (скажем, https://maxbelkov.github.io/visualsyslog/ - простенько, но работает) и настройте запись логов на него.

PS. А ставить отдельный кондиционер для хаба (даже если это коммутатор или вообще роутер) - как по мне, так просто [censored].

[Iindexxx]

У директора стоит Свитч TP-LINK TL-SF1005D, в компьютерном классе стоят два Tenda TEF1109D Коммутатор неуправляемый, такие симптомы появились гдето в середине января, как я устроился, до этого как говорят все хорошо работало, отлетает этот директорский tp link, потому что сразу отлетает вся сеть что идет от него, но сам он по идее не перегревается, у меня единственное предположение что провод, который идет к нему перегревается и изза этого проблемы, так как почему то решили пустить через батарею, я часть которую смог вынял оттуда, но не помогло, хочу попробовать поменять тплинк и тенду местами попробовать, работоспособность сети восстанавливается путем вынимания приходящего кабеля от главного роутера на директорский тплинк. Сеть устроена так: главный роутер huawei к сожалению по модели не подскажу, в другом здании, на нем dhcp и идут от него интернет к роутеру 12, который работает без проблем всегда и к тплинку директорскому, от тплинка идет на две Тенды в комп. классе, на 11 роутер и на 10. Я если честно еще все эти сетевые моменты постигаю, поэтому не везде могу чтото понять или подсказать, извините

[Dieman666]

Выше правильно сказали, карту сети рисовать нужно.
Сама сетка максимально простая и колхозная)
Под шлюз провайдерский Хуавей, неуправляемые свитчи и роутера под точки доступа.
Я бы начал работу с прозвонки всех кабелей, помечая маршрутные, соединяющие оборудование сетевое.
Отключение неиспользуемых кабелей верный ход, но нужно ещё удостовериться, что нет петель, а это нужно проверять все кабеля.
Также нужно удостовериться, что роутеры под точки доступа точно настроены правильно, то есть на них погашен dhcp сервер, и задан адрес вручную вне области dhcp сервера шлюза (Хуавей), ну либо этот адрес вбит в резервацию dhcp на шлюзе.
Ибо иногда могут быть приколы, что роутер погнал, настройки сбросились, и он пытаемся своим dhcp сервером вещать

[shurshur]

В одной школе при её строительстве также построили сеть. И в одно из помещений с компьютерами проложили четыре провода, которые воткнули в два местных свитча, вероятно "для резерва". Там стоял управляемый свитч 3com, но почему-то у него STP либо не работало, либо работало как-то неправильно, и через некоторое время начинался broadcast storm. При том, что в самом свитче защита от него была явно включена на всех портах, но видимо никак не работала и свитч бодро и синхронно мигал всеми лампочками. Перезагрузка свитча помогала на время, потом оно опять повторялось.

Пришлось лишние провода выключить. Причём понять, что дело было в них, оказалось не так-то просто, ведь перезагрузка свитча реально помогала.

В реальности может быть что угодно: и петли, и глючащее оборудование, и что-то включаемое эпизодически в сеть...

Просто оставлю одну историю, основанную на реальных событиях в одной школе:

Проблем нет, но их две

Звонит школа. Тётка в истерике:

- Всё пропало, всё плохо, интернет не работает!

Серёга пытается разобраться в ситуации:

- Поясните, пожалуйста, что, как и при каких условиях не работает.

- Не работает, всё плохо, надо Важному Начальнику что-то отсылать, надо какие-то Необходимые Контрольные проводить...

- Ну у Вас есть кто-нибудь разбирающийся в компьютерах?

- Есть.

- Ну вот пусть он нам позвонит, а мы попробуем ему помочь по существу.

Через пару часов звонит молодой человек.

- Здравствуйте, мне тут сказали Вам позвонить. Зачем?

- Ну, говорят, у Вас там проблемы с доступом в Internet.

- А, это... Вообще-то проблем нет. Хотя их на самом деле две. Но Вы всё равно не сможете мне помочь.

- ???

- Понимаете, тут у некоторых учителей есть личные ноутбуки с Windows 7. Они приносят их в школу, шибко умный Windows находит в окрестных домах незапароленные сети Wi-Fi, соединяется с ними и пытается расшарить в проводную сеть, поднимая DHCP-сервер. Из-за этого получаются очевидные проблемы.

- А вторая проблема?

- Дело в том, что у некоторых учителей стоят в кабинетах какие-то свитчи, чтобы вместе с обычным компьютером можно было подключать к сети ноутбук. Когда ноутбук не подключен, образуется ведущий в никуда провод. Многие учителя и ученики рассматривают это как непорядок и втыкают конец провода в свитч.

Бедняге можно было только посочувствовать.

[Iindexxx]

Dieman666, спасибо за ответ и идеи, буду пробовать, dhcp сервера на остальных роутерах отключены и неизменные айпишники даны, когда буду в том здании повыписываю оборудование, отпишусь, еще раз спасибо

[Iindexxx]

shurshur, Спасибо за совет еще раз все проверю, вполне может быть что там такая история, два корпуса очень далеко друг от друга и проблемный не мое основное место, так что бываю там редко, недавно устроился и предшественник рассказал мне все в общих чертах, поэтому я когда бываю там пробую разные варианты, ищу проблему, ну и разбираюсь в общем в устройстве сетей, на неделе там буду, буду пробовать что написали выше, спасибо за ответ большое

[Iindexxx]

Я и сам как почитал, что симптомы похожи на петлю, но может я чегото не понимаю, буквально полгода все работало хорошо, без проблем, потом уже начало как я пришел выбивать, но ничего нового не появлялось и не менялось, поэтому я думал что навряд ли петля

[ElxkoT]

Какая печаль. Я понимаю (хоть и с трудом), когда такая хаотичная фигня за 6 копеек городится в дворовой пивнухе директором лично, который по совместительству грузчик, сисадмин и иногда стоит на кассе, но в гос. учреждении, да ещё и при живом сисадмине...
Я бы начал с того, чтобы сделать хоть какое-то подобие сети уровня предприятия: избавиться от гирлянд из свитчей, в каждый кабинет, где нужна сеть, затянуть по своему собственному линку; свитчи по 300р за килограмм поменять на что-нибудь более вменяемое; на управление сетью поставить Mikrotik (ну или Keenetic хотя бы, если разбираться лень, или что-нибудь самошитое на OpenWRT, если денег совсем нет), в "серверной" поставить управляемый свитч, если кабинетов много, если мало, то и одного более-менее умного роутера хватит. Так хотя бы какие-то вменяемые логи можно будет собрать.
Если на переделки бюджета нет, то начать можно с того, чтобы обновить прошивку на всём, до чего можно дотянуться; убедиться, что нигде не задвоен адрес шлюза, обновить драйвера на сеть и WiFi на всех ПК; пытать сотрудников, кто из них тайком проносит вражеский роутер... Тяжело без логов, в общем

[Iindexxx]

Понимаете, это же УО в маленьком городе, тут типо программист и на все пк на два корпуса и на сеть и на сайт и все за минималку, поэтому тут не было никого с образованием для построения сетей, денег на переустройство сети никто тут не выделит и так как я тут чисто для записи на год, я это разгребать точно не буду, просто хочу сделать чтобы оно нормально работало при текущей ситуации, на неделе сделаю схему, спасибо вам большое за ответ

[Артём]

просто хочу сделать чтобы оно нормально работало

Если государственного бюджета на это нет, то можно потратить свою первую зарплату на набор управляемых коммутаторов - это плюс репутация Вам, и минус куча проблем в будущем Вам и наследникам. А так сами смотрите...

[Юрий MikroTik]

Артём, не надо тратить личные деньги на работодателя. Нужно учиться выбивать бюджет на обновление сети. Как минимум можно продавить импортозамещением и закупить SNR.

[Ziptar]

Артём,
это плюс репутация Вам
В госконторе? А нафига, то есть зачем?

, и минус куча проблем в будущем Вам и наследникам.

Госконтора перебьется

[tichoblinii]

Судя по началу поста, вы подрабатываете учителем информатики в школе и пытаетесь решить проблему исходя из своих знаний? Я верно предположил?
Кстати, на №10 и №11 есть включен DHCP?

Answer 1

[Кот Абсолютный]

Начать надо со схемы сети. Без схемы, да еще каким-то кашеобразным текстом - черта с два разберешься.

Comments

[Iindexxx]

Спасибо за ответ, на неделе сделаю, когда буду в корпусе том, чтобы повыписывать все что нужно

[tichoblinii]

Ну вот вам менее кашеобразно.

spoiler

1. Описание симптомов и хронология

Суть: Сеть полностью падает раз в 3-4 дня. Пропадает интернет и связь во всей локальной сети.
Главный симптом: В момент аварии на неуправляемых свитчах (коммутаторах) все индикаторы начинают синхронно мигать. Это классический признак широковещательного шторма (broadcast storm).
История: Проблема появилась в конце января, до этого полгода работало стабильно.

2. Топология сети и расположение оборудования
Вход (Технический шкаф/Щитовая):
Оптический терминал (ZTE/Huawei): Установлен в месте ввода кабеля провайдера. Сигнал есть, LOS не горит. Работает штатно.

Первичное разделение (Технический шкаф/Щитовая):
От терминала провайдера физически отходят два кабеля:
Кабель А: Идет на Модем 12. Этот модем работает автономно на какую-то другую задачу (не относится к основной проблемной сети).
Кабель Б (Магистраль до узла директора): Идет в кабинет директора.

Узел директора (Кабинет директора, ниша с батареей отопления):
Здесь установлен Хаб TP-Link (центральный узел). Он находится в нише, где раньше стояла батарея (сейчас батареи нет, но трубы отопления проходят рядом). Часть слаботочной проводки (бухта кабеля) также проложена в непосредственной близости от этих труб.

К данному хабу подключены:
ПК директора (находится тут же, в кабинете).
Wi-Fi роутер №10 (стоящий где-то в этом же кабинете или смежном помещении, воткнут в LAN-порт).
Wi-Fi роутер №11 (аналогично, воткнут в LAN-порт, работает как точка доступа).
Магистральный кабель (длинная линия): Уходит из кабинета директора в компьютерный класс.

Компьютерный класс (Учебная аудитория):
Магистраль из кабинета директора приходит сюда и заходит в каскад из двух хабов Tenda. Они, предположительно, стоят где-то в углу класса или в учительской зоне.

От хабов Tenda провода расходятся к ПК класса (учебные машины).

3. Условия эксплуатации (Проблемные зоны монтажа)
Узел директора (Хаб TP-Link): Оборудование находится в нише с батареей. Это потенциальная зона перегрева, особенно в пик отопительного сезона.

Кабельная трасса: Часть провода в узле директора была уложена бухтой прямо возле батареи. Часть бухты убрали, но полностью исключить нагрев оставшихся участков нельзя.

4. Предпринятые действия
Физические на узле директора: Перетыкали кабели в другие порты того же хаба TP-Link, убрали лишние патч-корды ("хвосты"), частично отодвинули бухту кабеля от батареи.

Наблюдения: После перетыкания "входящего" кабеля (кабель Б от оптического терминала) в другой порт хаба TP-Link, сеть оживает ровно на 3-4 дня, после чего история повторяется.

Проверка: На роутерах №10 и №11 убедились, что они не создают петлю (кабели воткнуты в LAN-порты, WAN не задействован).

5. Вопросы
Может ли перегрев именно хаба TP-Link (стоящего у батареи) или его блока питания вызывать цикличный сбой с периодичностью в несколько дней (нагрелся за 3-4 дня — "поплыл", остыл после перетыкания — заработал)?

Похоже ли это на конфликт DHCP, учитывая, что роутеры №10 и №11 (которые могут быть и маршрутизаторами) подключены к одному сегменту сети, или время аренды адресов просто совпадает с циклом падений?

Какие еще факторы, кроме физической петли в проводах, могут вызвать широковещательный шторм именно в такой конфигурации (каскад хабов Tenda в классе + хаб TP-Link у директора)?

Стоит ли копать в сторону замены БП хаба TP-Link или установки активного охлаждения (вентилятора) в нишу с батареей?

[Кот Абсолютный]

Iindexxx, Спасибо tichoblinii за структурирование вопроса, а то читать было совершенно невозможно.

1. То, что мы называем хабом - это правда хаб? Или таки свитч? :) (Последний рабочий хаб я видел двадцать лет назад и то, он был взят из кучи хлама на то время, пока что-то другое купят)

2. Tenda - самый нижний сегмент нижнего сегмента, с ними ничего толком работать не будет, скорее всего какой-то частично неисправен, но какой - хрен поймешь.

3. Накуа ввод сделан через кабинет директора? Чтобы директор еслиф че, мог тырнет рубануть?

В шкафу поставить микротик. Я так понимаю, что роутером у вас работает ZTE? Или это только оптоконвертер, и все торчит в тырнет голой #опой?

Из кабинет директора всю коммутацию убрать - директор такой же юзер, разве только попривелегированней.

Всю коммутацию свести в техшкаф. Все неуправляемое гумно - в сад. В техшкафу коммутация за счет портов микротика, в учебном классе вместо тенд поставить управляемый свитч на нужное количество портов.

[tichoblinii]

Кот Абсолютный, Йап не исключал батарею отопления.

Answer 2

[Юрий MikroTik]

На слове неуправляемых перестал читать.
Меняй все на управляемые, иначе долго будешь искать что срет.

Comments

[Dieman666]

ну совет откровенно говоря такой себе. он хороший в теоретической отличной реальности.
в подавляющем большинстве случаев на такой шаг никто не согласится и не одобрит при заданных изначальных моментах.
тут бюджетники, явно не готовые вкладывать деньги в сетевую инфраструктуру и обслуживает их эникей.

[tichoblinii]

Судя по началу поста, человек работает учителем информатики в школе и пытается решить проблему исходя из своих скромных знаний.
Ваше предложение "меняй всё" не подходит к бюджету школы.
Если у вас есть парочка коммутаторов L2 на выброс, то сообщите где и когда будете выбрасывать.

[Юрий MikroTik]

tichoblinii, я другу в школу подгоняю списанные коммутаторы и компы.

А информатику в школе не стоит заниматься, за это не платят.

Answer 3

[Алексей Черемисин]

0) Сеть, особенно, большая, на неуправляемых свичах - НЕУПРАЛЯЕМА!
Это аксиома, отследить, что в ней происходит, фактически невозвожно.

1) Поставить, как минимум корневыми коммутаторами управляемы свичи L2+
2) Обязательно включить DHCP-SNOOPING и IGMP-SNOOPING. Первый защитит, хоть как-то, от подключения левых DHCP-серверов, подмены MAC-IP, а второй - от multicast-штормов.
3) Очень желательно корневым коммутатором сделать L3 (с маршрутизацией) и сегментировать сеть на VLAN-ы
4) Все общие ресурсы вынести в зону DMZ
5) Сделать хотя бы простейший мониторинг на основе SNMP+Prometheus+Grafana
6) Вот, после всего этого уже можно нормально разобрать, что как и куда (хотя, после 2 пункта, думаю, уже все наладится)

PS. И да, DHCP сервер может вызывать херню, ставьте lease-time на 6-8 часов. Иначе может сложиться ситуация, что компухтер получил IP, но в какой-то момент времени не сделал renew адресу, или в этот момент сеть была недоступна вместк с DHCP, тогда появится дубликат IP-адреса. Но лучше настроить DHCP-sooping!!!

Comments

[Dieman666]

вы все как один по ходу, пытаетесь мыслить в условиях не практической суровой реальности, а в сухой теории, графаны там и пр)
очнитесь ,это бюджетники по ходу, которые платят мало и явно не готовы отдавать деньги на управляемую архитектуру. и обслуживает их эникей.
в реальности человек приложит усилия, побегает, прозвонит все, найдёт петлю/проблемный аппарат и решит проблему, на этом все и закончится

[tichoblinii]

Dieman666,
Реальное - не реально.
На протяжении последней недели все пытаются помочь аффтару поста исходя из своих сил. В этом силища сообщества

spoiler

(ребят спасибо что помогаете)

.
Кстати аффтар, вроде пока не указывал локацию и ничего не писал про "юджетников".
Вы слишком рано призываете всех "очнуться".

[Алексей Черемисин]

Dieman666, и даже не подумаю одумываться. Ибо знаю, что такое "бюджет", школа, и прочее.
Дешевых управляемых коммутаторов полно. Можно даже купить подержанный. Можно к спонсорам обратиться, можно в родительский коммитет. Да много чего можно!
Просто не нужно мыслить мусорными категориями.

Answer 4

[user0k]

Дробите локалку на сегменты. По возможности ставьте L2 коммутаторы, а в центре что-то серьезное. Я бы микротик поставил или что-то аналогичное.

Comments

[Dieman666]

это будет лишь в прекрасной теоретической параллельной реальности.
в действительной современной реальности все будет как есть, просто человек найдёт петлю, перелопатив всю сеть и все на этом успокоются

[tichoblinii]

Dieman666, Кстати реальный случай в нашей реальности. Ровно 2 месяца (и 118 часов) назад. Уборщица мыла полы, увидела выпавший кабель, решила вернуть "всё как было", воткнула в коммутатор.

spoiler

Попутно убила Таноса в паралльельной реальности

spoiler

Образовалась знаменитая - "Петля уборщицы".