Как исправить потери на интерфейсе Cisco?

Question

[Denis Verbin]

Спустя несколько дней после подключения дополнительного провайдера на Cisco 2821 по всем внешним IP на этом интерфейсе начались жуткие потери. Не уверен что из-за провайдера, но все же.
Схема подключения

ISP1 -> Свич Untag Vlan 668 (11 port) -> Tag port 48 -> GE0/0.668
ISP2 -> Свич Untag Vlan 700 (12 port) -> Tag port 48 -> GE0/0.700
...

Проблема с очередями на интерфейсе (IHQ/IQD).

vpn#sh interfaces summary 

 *: interface is up
 IHQ: pkts in input hold queue     IQD: pkts dropped from input queue
 OHQ: pkts in output hold queue    OQD: pkts dropped from output queue
 RXBS: rx rate (bits/sec)          RXPS: rx rate (pkts/sec)
 TXBS: tx rate (bits/sec)          TXPS: tx rate (pkts/sec)
 TRTL: throttle count

  Interface                   IHQ       IQD       OHQ       OQD      RXBS      RXPS      TXBS      TXPS      TRTL
-----------------------------------------------------------------------------------------------------------------
  Em0/0                         0         0         0         0         0         0         0         0         0
* GigabitEthernet0/0           81   1345261         0         0   3012000       349    350000       329   1037935
  Gi0/0.667                     -         -         -         -         -         -         -         -         -
* Gi0/0.668                     -         -         -         -         -         -         -         -         -
* Gi0/0.700                     -         -         -         -         -         -         -         -         -
* GigabitEthernet0/1            0      1343         0         0   4381000      1775   7015000      1768       365
* Gi0/1.100                     -         -         -         -         -         -         -         -         -

После применения на интерфейсе 'hold-queue 4096 in' - пинги стабилизировались, но через пол часа подключится по ssh уже не удалось (я так понимаю проблема не соответствия исходящей очереди и входящей) но это дело десятое, хотелось бы разобраться в первопричине.

Comments

[Валентин]

Напишите в вопросе, сколько трафика, делается ли NAT и сколько сессий...

[Denis Verbin]

о каких сессиях идет речь?

[Ринат Гарипов]

Denis Verbin: сколько сессий NAT я думаю.

Answer 1

[throughtheether]

1) Во время наблюдения проблемы сбросьте счетчики на интерфейсах (навскидку clear counters), через минут десять запросите в консоли show interface gi0/0 и предоставьте вывод.
2) Во время наблюдения проблемы запросите в консоли show processes cpu sorted 1min и предоставьте вывод.
3) На коммутаторе настройте SPAN/зеркалирование трафика из обоих VLAN, сравните трафик в рабочем режиме и при наблюдении проблемы. Обратите внимание на уровень трафика (bps, pps), широковещательный, многоадресный трафик; трафик, адресованный непосредственно маршрутизатору.

Comments

[Denis Verbin]

Спасибо за ваш комментарий. В тот день, когда писал данный вопрос - выполнил reload поздней ночью и несколько дней подряд счетчики очередей и дропов стабильно держались на ноле.
Пока потерь не наблюдается. Но уже снова начали наблюдаться дропы в очереди.
Вот статистика интерфейса спустя 10 минут после clear counters (до сброса было 18 дропов)
vpn#show interface gi0/0
GigabitEthernet0/0 is up, line protocol is up
Hardware is CN Gigabit Ethernet, address is 6073.5cac.8d40 (bia 6073.5cac.8d40)
MTU 1500 bytes, BW 1000000 Kbit/sec, DLY 10 usec,
reliability 255/255, txload 1/255, rxload 2/255
Encapsulation 802.1Q Virtual LAN, Vlan ID 1., loopback not set
Keepalive set (10 sec)
Full Duplex, 1Gbps, media type is RJ45
output flow-control is XON, input flow-control is XON
ARP type: ARPA, ARP Timeout 04:00:00
Last input 00:00:00, output 00:00:00, output hang never
Last clearing of "show interface" counters 00:26:18
Input queue: 12/75/0/0 (size/max/drops/flushes); Total output drops: 0
Queueing strategy: fifo
Output queue: 0/40 (size/max)
5 minute input rate 8872000 bits/sec, 872 packets/sec
5 minute output rate 575000 bits/sec, 560 packets/sec
1321101 packets input, 1657404955 bytes, 0 no buffer
Received 30678 broadcasts (0 IP multicasts)
0 runts, 0 giants, 0 throttles
0 input errors, 0 CRC, 0 frame, 0 overrun, 0 ignored
0 watchdog, 345 multicast, 0 pause input
852001 packets output, 106901875 bytes, 0 underruns
0 output errors, 0 collisions, 0 interface resets
398 unknown protocol drops
0 babbles, 0 late collision, 0 deferred
0 lost carrier, 0 no carrier, 0 pause output
0 output buffer failures, 0 output buffers swapped out

2) В отот раз, когда были проблемы смотрел статистику процессора, роутер просто отдыхал. Почти все процессы 0.01, жрущий IP-Input разве что был 0.14%

[throughtheether]

Denis Verbin:

398 unknown protocol drops

Это, скорее всего, трафик DTP/VTP или подобных протоколов, активных на коммутаторе.

Received 30678 broadcasts

Получается в среднем 50 в секунду. Если используется обычная схема IPoE, то это, на мой взгляд, многовато.
На данный момент, полагаю, причиной проблемы, вероятно, являются всплески широковещательного/многоадресного трафика.
В силе остается рекомендация о мониторинге трафика через SPAN-порт. Особенно интересует расположение источника широковещательного/многоадресного трафика. Также можете ограничить уровень этого трафика на 11 и 12 портах коммутатора (в Cisco-мире функциональность называется 'storm-control').
Кроме того, не помешает мониторинг оборудования по SNMP (входящие/исходящие пакеты с разбивкой по unicast/multicast/broadcast, ошибки, отброшенные пакеты). Может пригодиться при общении с провайдером (пример: "Такого-то числа от вас внезапно пришло столько-то мультикаста, поясните").

Answer 2

[Армянское Радио]

С физикой все в порядке? Что там? Оптика, медь, голуби пакеты носят?

Comments

[Denis Verbin]

Да, с физикой точно все в порядке. Один провайдер медью заходит, второй сразу оптикой в свитч.
Все эти дни проблема то приходила, то уходила, видимо в зависимости от нагрузки. Ночью вообще все шикарно работает.

[Алексей Черемисин]

а трафик смотреть пробовали? у нас было, что провайдер через порт пытался пол своей сети прокинуть на нашу AC. Обратитесь к провайдеру, вдруг у него BGP не так в вашу сторону настроен...

[Алексей Черемисин]

Cмотреть на пакеты, которые в сорсе/дестинейшине не имеют вашей подсети совсем. А может еще и какой мультикаст вам завернули, типа 100 бесплатных каналов HD по IPTV :-)