Провайдер отключает порт, причина?

Question

[borg333]

Здравствуйте.
На борту имеется 3 сервера:

1. Шлюз 1gbx2, 10gbx4. pfsense 2.4.4-RELEASE (amd64)
WAN На igb0 интернет (экотелеком, подключен через тупой свитч для усиления сигнала).
LAN На igb1 dhcp в локалку в свитч 10.10.10.0/24
BR0 mlnx0,mlnx1,mlnx2,mlnx3, за неимением не дорогого sfp+ коммутатора, заведены в bridge0, настроен dhcp 10.10.100.0/24
На нем поднят dns resolver(DoT cloudflare), pfblocker, squid, suricata (WAN inline, LAN,BR0), OpenVPN, ipsec, l2tp, TFTP
2. ESXi 6.7
nginx, splunk, transmission, winsrv2016(выступает в роли AD, DNS, резервные копии всех ВМ и физ машин, сервер VNC из локалки+из вне), icecast, mail, nextcloud, plex, rocketchat. Все заведено через mlnx1 в сеть 10.10.100.0/24
3. FreeNas 11. заведен через mlnx0 в сеть 10.10.100.0/24

Сие работало в течении месяца и тут недавно бац, пропадает интернет, ТП провайдера говорят, мол у нас зависает коммутатор из-за вас и мы выключили вам порт. Что я только не делал. Переустанавливал все, пускал wireshark на несколько дней дабы послушать что происходит на том конце igb0, тишина. Блокировали уже 5 раз. Траблшутинга они не предоставляют, логи не дают ссылаясь на то, что железка виснет, поэтому логов нет. Но почему то выключают именно мой порт, ага. В общем я в тупике.
Подскажите пожалуйста, куда копать, какой инструмент использовать? К тому же, подключил 2й интернет, но оптику, на ней проблем подобных нет. На следующей неделе заведут медь от третьего провайдера, посмотрим как будет на нем.
Заранее большая благодарочка.

Answer 1

[borg333]

Кажется я нашел возможную причину блокировки. Сегодня подключил еще одну медь, после подключения которой, спустя секунд 10 пропадали пинги. Это меня натолкнуло на тесты. В случае со вторым провайдером это оказался ipmi, который находился в режими dhcp. После указании статики, пинги перестали пропадать, возможно по этой же причине мне отключали порт. Поживем увидим...

Answer 2

[ТыжСисАдмин]

Ищите контакт с админом прова.

В вашей схеме мне не нравится "подключен через тупой свитч для усиления сигнала", не понятна ситуация "нафига", не сваливается ли этот свитч в десятку, не срёт ли в линию.

В общем ищите контакт, без инфы со стороны прова вы ничего не узнаете.

Comments

[Руслан Федосеев]

тупой свич выкинуть. Скорее всего в нем проблема
И да, ищите контакты с провайдером

[borg333]

Не совсем понимаю как этот свитч может быть проблемой. Это просто коммутатор, благодаря которому усиливается сигнал дальше (без него линк 100 мегабит)+висит он на igb0, wireshark показывает, что никаких линков из 10 и 100 подсетей не сыпится, только dhcp реквесты от pfsens'a. Какие есть еще способы усиления сигнала?
Ладно. Попробую достучаться в офисе до них. Спасибо.

[ТыжСисАдмин]

borg333,

Это просто коммутатор, благодаря которому усиливается сигнал дальше

Нет, это не просто комутатор, это активное оборудование.

висит он на igb0, wireshark показывает, что никаких линков из 10 и 100 подсетей не сыпится

Когда я написал "в десятку", я имел ввиду канальную скорость.
То что вы смотрите на трафик, на своём интерефейсе igb0 это клёво конечно, вот только притензии вам предъявляет провайдер и трафик необхоидмо мониторить после всего вашего обороудования а это пререгатива прова.

[borg333]

ТыжСисАдмин, т.е. пытаться ставить что то наподобие сisco SF302 полагаясь на умное железо смысла нет, правильно понимаю?

Answer 3

[Валентин]

Я видел полно ситуаций, когда ТП отвечала так клиентам (и даже сам говорил им так отвечать). Это может быть срабатывающий loopbackdetect, постоянно флапающий порт (half-full dublex, 10-100М), глючный мак-адрес (операторские свичи обрабатывают не весь мак адрес, а хеш от него и влана, причём только только часть этого хеша), устраивать шторм, в конце концов просто коротить линию и ещё очень много чего. Разбираться с вами отдельно - потратить несколько дней одного (двух) сетевого инженера (скорее всего в пустую, т.к. делать вы ничего не будете полгода - надо будет сначала получить бюджет).

Свич - не тупое устройство, в нем есть микросхема и прошивка. Тупой может быть только хаб или медиаконвертер.

Рекомендую:
1) избавиться от этого коммутатора, поднять линк на 10М и понаблюдать (на нормальной витухе 200 метров не проблема)
2) включить апстрим в другой порт этого коммутатора, а в текущий подключить какой-нибудь компьютер и генерировать в него трафик
3) поставить у себя нормальный коммутатор (а ещё лучше полноценный бордер, хоть тот же дешевый микротик)

Comments

[borg333]

1. Попробую
2. В том то и дело, что на нем нет апстрим порта, там обычный dgs-105c
3. Подойдет ли для этой цели сisco SF302?
Спасибо.

[Валентин]

borg333, апстрим - порт, куда провайдер подключен. Подойдёт любой свич, который умеет вланы, зеркалирование трафика и писать логи (лучше удаленно). Но я бы ориентировался на маршрутизатор, хотя бы типа микрота. Особенно с учетом нескольких операторов.

[borg333]

Было бы интересно какую модель посоветуете. Кстати тариф у меня гигабитный. Возможно Вы правы о том, что происходит переключения автоопределния скорости.

[Валентин]

borg333, ну выберите себе. Но мы же не знаем, как в итоге его будете (если будете) использовать. И что на нем будет (сколько провайдеров, NAT, ACL, маршрутизация, резервы и т.д.)

[borg333]

Валентин, выбрал hEX RB750Gr3, на следующей неделе заберу, посмотрю как оно... А из функционала, ничего кроме как удлинения сигнала использовать не собираюсь, ибо все остальное реализовано на pfsense

[athacker]

borg333, строго говоря, маршрутизатор вам не нужен, т. к. у вас на pfSense реализован более чем богатый функционал. И вам придётся либо роутер использовать как коммутатор, либо делать двойной NAT -- один на pfSense, а второй -- на микротике.

Микротики -- хорошие железки для SOHO, но то, что у вас сделано на pfSense, они не реализуют (pfBlocker) и т. п. Можно исхитриться, конечно, и на микроте это сделать, но потрахаться придётся. Плюс есть опыт построения IPsec туннелей на нём -- они нестабильно работают, зависают. В данном случае вам нужно было бы поставить приличный коммутатор какой-нибудь. Cisco 2950 какой-нибудь старый на авито будет стоит тысяч 5. Там, правда, управление только по телнет, но жить с этим можно.

P/S/: О, оказывается можно даже за 2000 найти :-)

[borg333]

athacker, а есть небольшая подходящая под мою задачу циска с гигабитными портами? Пробовал разобраться с моделями, их настолько много что сложно понять где какой функционал. Хочется чтобы был полный фарш за 5-6т и забыть о такого рода проблемах. Габариты тоже играют роль, потому как к свитчу, через который я "удлиняю" сигнал, я подключаю только 1 кабель, а держать например 24 портовый коммутатор для одного провода в прихожке, как мне кажется немного расточительно)) но если других вариантов нет, то подойдёт и крупный. 2950 посмотрел, у него на выходе 100мбитные порты.

[borg333]

athacker, или в 2950 можно просто в 2 аплинка воткнуть и так же все будет работать?

[athacker]

borg333, да, у Cisco есть вот такие железки ещё, например.

Подключать интернет в аплинк совершенно необязательно. Аплинковый порт, как правило, используется, когда у вас подключено много потребителей, и суммарная полоса в сторону следующего коммутатора/маршрутизатора превышает скорость одного порта. У вас гигабит, и один потребитель, по сути (pfSense). Так что можно включать в любой порт.

[borg333]

athacker, а если говорить о функционале не взирая на габариты, что лучше, 2950 или sg-110d?

[athacker]

borg333, 2950, конечно, богаче. Это реальный управляемый коммутатор доступа, со всеми делами -- вланы, port security, DHCP snooping и прочее. Такие коммутаторы используются в интернет-провайдерах для подключения клиентов. Но вы говорите, что у вас интернет на гигабитных скоростях, так что он вам не подойдёт.

sg-110 -- это простенькие неуправляемые коммутаторы для домашних сеточек. Но это Cisco, так что за качество можно быть спокойным.

[Валентин]

borg333, ну что, помогло?

Answer 4

[Sanes]

Вместе с провайдером ищите причину. Иначе никак.