Большое количество GRE IPIP туннелей в линуксе и падение скорости в инет?

Question

[kiranananda]

Здравствуйте!

Столкнулся тут с таким траблом. Есть centos7 там штук 50 ipip/gre туннелей и из за этого падает скорость во внешку. Отрубаю туннели, скорость отличная... Кто нибудь может помочь? Уже всю голову сломал. На самом деле такая же штука была и на джунипере. Скорость меряю между двумя линух машинами минуя туннель...

Comments

[theurs]

броадкаст в тунели?

[kiranananda]

Вроде нет
tun10@NONE: mtu 1400 qdisc noqueue state UNKNOWN qlen 1

DEVICE=tun10
ONBOOT=yes
TYPE=GRE
MTU=1400
TTL=255
PEER_OUTER_IPADDR=peer.ext.ip
MY_OUTER_IPADDR=my.ext.ip
MY_INNER_IPADDR=10.0.10.1
PEER_INNER_IPADDR=10.0.10.2

[kiranananda]

Не вставился код, вот

tun10@NONE: <POINTOPOINT,NOARP,UP,LOWER_UP> mtu 1400 qdisc noqueue state UNKNOWN qlen 1

Есть квага, но ее отрубал, тот же эффект.
Вообще прям танцы с бубном какието ... (

[EvilMan]

Туннели во внутренние сети идут или тоже через внешку? Посмотрите, сколько внешнего трафика приходится на сами туннели. Снимите дамп трафика, проанализируйте в wireshark - у него отличные возможности в этом плане.

[kiranananda]

Туннели все через внешку. Объединяют внутренние сети филиалов. Мы уже как то давно в джунипере делали анализ, так ничего не решили. Так то все работает, но чем больше туннелей тем меньше скорость, глупость какато (. я уж думал провайдер там как то режет, но как он определит это все...

[rustler2000]

kiranananda, типа +1 туннель в 1мбит и внешний проседает на 2мбит ?

[EvilMan]

kiranananda, А случаем никакого QoS не настраивали?

[kiranananda]

Вот я про это думаю, ибо уж очень похоже но система голая, разве что по умолчанию...

[kiranananda]

Провел эксперимент, заблочил весь трафик на туннелях, скорость выросла до 16 мегабит, но все равно это реально мало...

[kiranananda]

rustler2000, Немного не понял вопроса...

[kiranananda]

Погонял еще, если отрубаю форвардинг, скорость вырастает до 90 мегабит. То есть канал в порядке. Сами туннели ему тоже не мешают. А так загрузка судя по графикам коллектд 50 мегабит...

[kiranananda]

Еще есть замер, если тестить iperf и указать например 20 потоков, то скорость выжимает хорошую и по графику канал целиком забивается, то-есть с ним все хорошо. Осталось понять кто же режет одинарные потоки, может на провайдере так быть?

Answer 1

[Станислав Бодро́в]

Похоже на проделки провайдера последней мили или транзитного. Они не особо жалую GRE трафик.

Comments

[kiranananda]

Провайдер Домру, клиент юр лицо, не должны бы такой фигней заниматься... Там нормальный ценник люди платят... Но это не проверить, разве что звонить и пытаться узнать. Самое интересное если запустить много потоков iperf (20) что в туннеле, что просто между внешками, канал забивается полностью...

[Станислав Бодро́в]

kiranananda, чтобы не тыкать пальцем в небо лучше проверить. Попробовать различный трафик TCP, UDP, GRE, посмотреть трассировку.

Провайдер Домру, клиент юр лицо, не должны бы такой фигней заниматься.

Помню, бился с провайдером как представитель юр. лица, чтобы тот не блокировал 500 порт и вообще ipsec трафик, потом была возня с 25 портом, который они блокировали у себя в сети видимо для борьбы со спамом. Другой провайдер хорошо резал сторонний трафик UPD-протокола у себя в сети, поэтому были проблемы с openvpn по udp.

[kiranananda]

Да, спасибо, буду звонить, очень похоже на провайдера...

Answer 2

[Валентин]

Ну снимите snmp статистику загрузки по всем туннелям и увидите, какой там отжирает больше всех. Одна строчка в конфиге роутеров в других филиалах (или центральной точке) может привести к такому хаосу. Тем более в гре, где тупо можно флудить мультикастом.

Comments

[kiranananda]

Походу дела туннели не причём. Все зависит от количества ip сессий. Если, чем больше, тем ниже скорость в конкретной сессии...