Какие причины в остановке движения пакетов в OpenVPN туннеле?

Question

[Максим]

В наследство досталась связка сервера на CentOS 7.4 и некоторого (штук 250-300) количества роутеров (кастомная вещь, которую пилят китайские друзья). Роутеры подключаются к серверу по VPN. И банальный пинг показывает такую картину:

Reply from 10.8.0.1: bytes=32 time=81ms TTL=63
Reply from 10.8.0.1: bytes=32 time=105ms TTL=63
Reply from 10.8.0.1: bytes=32 time=99ms TTL=63
Request timed out.
Request timed out.
Request timed out.
Reply from 10.8.0.1: bytes=32 time=114ms TTL=63
Reply from 10.8.0.1: bytes=32 time=84ms TTL=63
Reply from 10.8.0.1: bytes=32 time=105ms TTL=63
Reply from 10.8.0.1: bytes=32 time=88ms TTL=63
Reply from 10.8.0.1: bytes=32 time=72ms TTL=63
Reply from 10.8.0.1: bytes=32 time=97ms TTL=63
Reply from 10.8.0.1: bytes=32 time=82ms TTL=63
Reply from 10.8.0.1: bytes=32 time=106ms TTL=63
Reply from 10.8.0.1: bytes=32 time=91ms TTL=63
Reply from 10.8.0.1: bytes=32 time=69ms TTL=63
Reply from 10.8.0.1: bytes=32 time=98ms TTL=63
Reply from 10.8.0.1: bytes=32 time=84ms TTL=63
Reply from 10.8.0.1: bytes=32 time=107ms TTL=63
Reply from 10.8.0.1: bytes=32 time=92ms TTL=63
Reply from 10.8.0.1: bytes=32 time=77ms TTL=63
Reply from 10.8.0.1: bytes=32 time=110ms TTL=63
Reply from 10.8.0.1: bytes=32 time=84ms TTL=63
Reply from 10.8.0.1: bytes=32 time=110ms TTL=63
Reply from 10.8.0.1: bytes=32 time=93ms TTL=63
Reply from 10.8.0.1: bytes=32 time=78ms TTL=63
Reply from 10.8.0.1: bytes=32 time=103ms TTL=63
Reply from 10.8.0.1: bytes=32 time=87ms TTL=63
Reply from 10.8.0.1: bytes=32 time=110ms TTL=63
Reply from 10.8.0.1: bytes=32 time=103ms TTL=63
Reply from 10.8.0.1: bytes=32 time=83ms TTL=63
Reply from 10.8.0.1: bytes=32 time=112ms TTL=63
Reply from 10.8.0.1: bytes=32 time=89ms TTL=63
Request timed out.
Request timed out.
Reply from 10.8.0.1: bytes=32 time=2980ms TTL=63
Reply from 10.8.0.1: bytes=32 time=70ms TTL=63
Reply from 10.8.0.1: bytes=32 time=93ms TTL=63
Reply from 10.8.0.1: bytes=32 time=81ms TTL=63
Reply from 10.8.0.1: bytes=32 time=103ms TTL=63

Сам роутер пингуется без потерь, соответственно проблема между роутером и сервером. Интернет стабильный, нагрузки на сервере по процу, памяти и диску нет.
Настройки сервера

port 1194
proto tcp
dev tun
ca /etc/openvpn/remote/ca.crt 
cert /etc/openvpn/remote/server.crt 
key /etc/openvpn/remote/server.key  
dh /etc/openvpn/remote/dh1024.pem 
server 10.8.0.0 255.255.0.0
subnet-behind-clients 10.10.0.0
mask-behind-clients 24
route 10.10.0.0 255.255.255.0
ifconfig-pool-persist /etc/openvpn/data/remote-ipp.txt 
ping 20
ping-restart 120
cipher BF-CBC
comp-lzo
persist-key 
persist-tun 
status /var/logs/openvpn/remote-openvpn-status.log 
log-append  /var/logs/openvpn/remote-openvpn.log 
verb 5
reneg-sec 86400
;end

Настройки клиентов

client
dev tun
port 1194
verb 5
ping 20
ping-restart 120
proto tcp-client
cipher BF-CBC
comp-lzo
resolv-retry infinite
pull
nobind
user root
group root
persist-key
persist-tun
status /var/log/openvpn-status-r.log 2
up upscript
up-delay
down downscript
down-pre
up-restart
push-peer-info
tls-exit
reneg-sec 86400
;end

Закономерность такая - каждые 30 секунд движение пакетов тормозится на 10-15 секунд. Поскольку есть закономерность, то на перегрев/перегрузку роутера это не похоже. Так же не похоже на переполнение буферов на сервере, т.к. это имело бы какой то хаотичный вид.
Можете подсказать в каком направлении копать? В логах всё хорошо.

Answer 1

[Денис Сечин]

От клиента Mtr -s 1470 -i 0.2 внешний айпи роутера куда все подключены

Comments

[Максим]

Пардон, промахнулся кнопочкой. Смотри комментарий ниже.

[Денис Сечин]

Максим, Если все сервера подключены к одному, то смотри график загрузки канала.

[Максим]

Денис Сечин, нагрузка на канал минимальна. VPN используется для узкого круга задач. В какие то моменты на интерфейсе tun0 вообще только мои ICMP пакеты. Хотя на картину это никак не вляет.

[root@root ~]# tcpdump -i tun0
tcpdump: verbose output suppressed, use -v or -vv for full protocol decode
listening on tun0, link-type RAW (Raw IP), capture size 65535 bytes
14:11:54.055121 IP 10.10.0.2 > root: ICMP echo request, id 1, seq 49488, length 40
14:11:54.055141 IP root > 10.10.0.2: ICMP echo reply, id 1, seq 49488, length 40
14:11:55.069704 IP 10.10.0.2 > root: ICMP echo request, id 1, seq 49489, length 40
14:11:55.069719 IP root > 10.10.0.2: ICMP echo reply, id 1, seq 49489, length 40
14:11:56.087175 IP 10.10.0.2 > root: ICMP echo request, id 1, seq 49490, length 40
14:11:56.087190 IP root > 10.10.0.2: ICMP echo reply, id 1, seq 49490, length 40
14:11:57.101519 IP 10.10.0.2 > root: ICMP echo request, id 1, seq 49491, length 40
14:11:57.101536 IP root > 10.10.0.2: ICMP echo reply, id 1, seq 49491, length 40
14:11:58.117840 IP 10.10.0.2 > root: ICMP echo request, id 1, seq 49492, length 40
14:11:58.117858 IP root > 10.10.0.2: ICMP echo reply, id 1, seq 49492, length 40
14:11:59.132315 IP 10.10.0.2 > root: ICMP echo request, id 1, seq 49493, length 40
14:11:59.132335 IP root > 10.10.0.2: ICMP echo reply, id 1, seq 49493, length 40
14:12:00.148740 IP 10.10.0.2 > root: ICMP echo request, id 1, seq 49494, length 40
14:12:00.148763 IP root > 10.10.0.2: ICMP echo reply, id 1, seq 49494, length 40
14:12:01.162865 IP 10.10.0.2 > root: ICMP echo request, id 1, seq 49495, length 40
14:12:01.162881 IP root > 10.10.0.2: ICMP echo reply, id 1, seq 49495, length 40
14:12:15.379384 IP 10.10.0.2 > root: ICMP echo request, id 1, seq 49496, length 40
14:12:15.379400 IP root > 10.10.0.2: ICMP echo reply, id 1, seq 49496, length 40
14:12:15.379410 IP 10.10.0.2 > root: ICMP echo request, id 1, seq 49497, length 40
14:12:15.379412 IP root > 10.10.0.2: ICMP echo reply, id 1, seq 49497, length 40
14:12:15.379418 IP 10.10.0.2 > root: ICMP echo request, id 1, seq 49498, length 40
14:12:15.379421 IP root > 10.10.0.2: ICMP echo reply, id 1, seq 49498, length 40
14:12:15.449490 IP 10.10.0.2 > root: ICMP 10.10.0.2 protocol 1 unreachable, length 68
14:12:15.510363 IP 10.10.0.2 > root: ICMP echo request, id 1, seq 49499, length 40
14:12:15.510373 IP root > 10.10.0.2: ICMP echo reply, id 1, seq 49499, length 40
14:12:16.522746 IP 10.10.0.2 > root: ICMP echo request, id 1, seq 49500, length 40
14:12:16.522759 IP root > 10.10.0.2: ICMP echo reply, id 1, seq 49500, length 40
14:12:17.539418 IP 10.10.0.2 > root: ICMP echo request, id 1, seq 49501, length 40
14:12:17.539443 IP root > 10.10.0.2: ICMP echo reply, id 1, seq 49501, length 40
14:12:18.566757 IP 10.10.0.2 > root: ICMP echo request, id 1, seq 49502, length 40
14:12:18.566776 IP root > 10.10.0.2: ICMP echo reply, id 1, seq 49502, length 40
14:12:19.571940 IP 10.10.0.2 > root: ICMP echo request, id 1, seq 49503, length 40
14:12:19.571954 IP root > 10.10.0.2: ICMP echo reply, id 1, seq 49503, length 40

Такое ощущение, что пакеты застревают гдето, а потом проскакивают пачкой. В 14:12:01 это хорошо заметно - стандартный пинг с интервалом в секунду, а потом 5 пакетов сразу пролетает.

Answer 2

[Максим]

Сервер в Azure находится, ICMP там по дефолту выключен.

mtr -T -s 1470 --port 1194 server.com
tester-pc (0.0.0.0)
Keys:  Help   Display mode   Restart statistics   Order of fields   quit
                                                      Packets               Pings
 Host                                                 Loss%   Snt   Last   Avg  Best  Wrst StDev
 1. 10.10.133.1                                       0.0%    95    2.6   3.5   1.7  10.5   1.3
 2. gw.domen.com                                      0.0%    95    1.2   1.4   0.9   4.3   0.3
 3. 1.1.1.1                                           0.0%    95    1.3   1.8   1.0  11.9   1.5
 4. 217.195.72.208                                    0.0%    95    1.7   2.1   1.3  16.3   1.9
    10.78.242.161
 5. msa-24z-1.ntwk.msn.net                            0.0%    95   16.2  14.6  13.3  40.1   3.3
 6. ae8-0.ams-96c-1a.ntwk.msn.net                     0.0%    95   57.9  57.8  57.0  70.1   1.4
 7. be-71-0.ibr02.ams.ntwk.msn.net                    0.0%    95   60.6  60.5  58.8  62.9   0.5
 8. be-3-0.ibr01.ams06.ntwk.msn.net                   0.0%    95   61.4  60.5  59.1  70.1   1.1
 9. ae100-0.icr01.ams06.ntwk.msn.net                  0.0%    95   59.0  60.9  58.7  77.7   3.5
    ae101-0.icr03.ams06.ntwk.msn.net
    ae102-0.icr02.ams06.ntwk.msn.net
    ae103-0.icr04.ams06.ntwk.msn.net
10. ???

Вот с hping чуть отличается картина:

hping -S -p 1194 -d 1470 server.com
HPING server.com (eth0 1.1.1.1): S set, 40 headers + 1470 data bytes
len=46 ip=1.1.1.1 ttl=50 DF id=0 sport=1194 flags=SA seq=0 win=29200 rtt=1                                                                                                                                                             059.3 ms
len=46 ip=1.1.1.1 ttl=50 DF id=0 sport=1194 flags=SA seq=2 win=29200 rtt=5                                                                                                                                                             9.5 ms
len=46 ip=1.1.1.1 ttl=50 DF id=0 sport=1194 flags=SA seq=3 win=29200 rtt=59.5 ms
len=46 ip=1.1.1.1 ttl=50 DF id=0 sport=1194 flags=SA seq=4 win=29200 rtt=59.6 ms
len=46 ip=1.1.1.1 ttl=50 DF id=0 sport=1194 flags=SA seq=6 win=29200 rtt=59.4 ms
len=46 ip=1.1.1.1 ttl=50 DF id=0 sport=1194 flags=SA seq=7 win=29200 rtt=1059.2 ms
len=46 ip=1.1.1.1 ttl=50 DF id=0 sport=1194 flags=SA seq=8 win=29200 rtt=1059.6 ms
len=46 ip=1.1.1.1 ttl=50 DF id=0 sport=1194 flags=SA seq=10 win=29200 rtt=59.1 ms
len=46 ip=1.1.1.1 ttl=50 DF id=0 sport=1194 flags=SA seq=12 win=29200 rtt=60.3 ms
len=46 ip=1.1.1.1 ttl=50 DF id=0 sport=1194 flags=SA seq=14 win=29200 rtt=59.2 ms
len=46 ip=1.1.1.1 ttl=50 DF id=0 sport=1194 flags=SA seq=15 win=29200 rtt=1059.3 ms
len=46 ip=1.1.1.1 ttl=50 DF id=0 sport=1194 flags=SA seq=17 win=29200 rtt=59.3 ms
len=46 ip=1.1.1.1 ttl=50 DF id=0 sport=1194 flags=SA seq=18 win=29200 rtt=1059.4 ms
len=46 ip=1.1.1.1 ttl=50 DF id=0 sport=1194 flags=SA seq=20 win=29200 rtt=59.2 ms
len=46 ip=1.1.1.1 ttl=50 DF id=0 sport=1194 flags=SA seq=21 win=29200 rtt=1059.5 ms
len=46 ip=1.1.1.1 ttl=50 DF id=0 sport=1194 flags=SA seq=23 win=29200 rtt=59.1 ms
len=46 ip=1.1.1.1 ttl=50 DF id=0 sport=1194 flags=SA seq=25 win=29200 rtt=59.8 ms
len=46 ip=1.1.1.1 ttl=50 DF id=0 sport=1194 flags=SA seq=26 win=29200 rtt=59.1 ms

Если использовать hping -S -p 1194 server.com , то rrt 60ms и не плавает так.