В чем причина низкой сетевой скорости приложений через ingress?

Question

[Mars36]

Кластер состоит из 4 нод:
1 мастер - канал 200мбит
1 воркер - канал 200мбит
2 воркера - канал 1гбит

Использую calico, metallb, ingress-nginx. В calico включен wireguard. В mtallb задавал только ip для балансера, режим L2, не gbp.

В кластере развернут harbor и nextcloud, оба расположены на воркерах с гигабитным каналом как и балансировщик и ингрес контроллер. Скорость скачивания/загрузки не превышает 9 мбайт, сомневаюсь, что wireguard в calico может резать скорость в 10 раз.

В какую сторону нужно смотреть, что копать?

UPD:
Скорее всего дело не в calico, speedtest на k8s-worker(не облако, физический сервер за роутером)

server@k8s-worker:~$ speedtest
Retrieving speedtest.net configuration...
Testing from prov_name (externalIP)...
Retrieving speedtest.net server list...
Selecting best server based on ping...
Hosted by Beeline (Tula) [300.32 km]: 47.205 ms
Testing download speed................................................................................
Download: 757.76 Mbit/s
Testing upload speed......................................................................................................
Upload: 529.91 Mbit/s

iperf3 k8s-worker2(гигабитный канал) -> k8s-worker(гигабитный канал):

Connecting to host 192.168.254.137, port 12345
[  4] local 192.168.126.40 port 43720 connected to 192.168.254.137 port 12345
[ ID] Interval           Transfer     Bandwidth       Retr  Cwnd
[  4]   0.00-1.00   sec  8.74 MBytes  73.3 Mbits/sec    3    306 KBytes       
[  4]   1.00-2.00   sec  8.34 MBytes  70.0 Mbits/sec    0    361 KBytes       
[  4]   2.00-3.00   sec  9.26 MBytes  77.6 Mbits/sec    0    399 KBytes       
[  4]   3.00-4.00   sec  8.89 MBytes  74.6 Mbits/sec   13    301 KBytes       
[  4]   4.00-5.00   sec  8.83 MBytes  74.1 Mbits/sec    0    328 KBytes       
[  4]   5.00-6.00   sec  9.44 MBytes  79.2 Mbits/sec    0    344 KBytes       
[  4]   6.00-7.00   sec  8.89 MBytes  74.6 Mbits/sec    0    356 KBytes       
[  4]   7.00-8.00   sec  9.07 MBytes  76.1 Mbits/sec   21    278 KBytes       
[  4]   8.00-9.00   sec  8.59 MBytes  72.0 Mbits/sec    0    319 KBytes       
[  4]   9.00-10.00  sec  8.77 MBytes  73.5 Mbits/sec    0    343 KBytes       
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval           Transfer     Bandwidth       Retr
[  4]   0.00-10.00  sec  88.8 MBytes  74.5 Mbits/sec   37             sender
[  4]   0.00-10.00  sec  87.8 MBytes  73.6 Mbits/sec                  receiver

iperf Done.

iperf3 k8s-worker2(гигабитный канал) -> k8s-worker1(200мбит канал):

Connecting to host 192.168.194.81, port 12345
[  4] local 192.168.126.40 port 35370 connected to 192.168.194.81 port 12345
[ ID] Interval           Transfer     Bandwidth       Retr  Cwnd
[  4]   0.00-1.00   sec  6.88 MBytes  57.7 Mbits/sec    0    488 KBytes       
[  4]   1.00-2.00   sec  19.2 MBytes   161 Mbits/sec    0   1.32 MBytes       
[  4]   2.00-3.00   sec  21.6 MBytes   181 Mbits/sec    0   2.41 MBytes       
[  4]   3.00-4.00   sec  21.0 MBytes   176 Mbits/sec   93   1.83 MBytes       
[  4]   4.00-5.00   sec  21.6 MBytes   181 Mbits/sec    2   1.38 MBytes       
[  4]   5.00-6.00   sec  22.1 MBytes   185 Mbits/sec    0   1.46 MBytes       
[  4]   6.00-7.00   sec  22.0 MBytes   185 Mbits/sec    0   1.52 MBytes       
[  4]   7.00-8.00   sec  22.0 MBytes   185 Mbits/sec    0   1.56 MBytes       
[  4]   8.00-9.00   sec  22.2 MBytes   186 Mbits/sec    3   1.15 MBytes       
[  4]   9.00-10.00  sec  22.0 MBytes   185 Mbits/sec    0   1.22 MBytes       
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval           Transfer     Bandwidth       Retr
[  4]   0.00-10.00  sec   201 MBytes   168 Mbits/sec   98             sender
[  4]   0.00-10.00  sec   198 MBytes   166 Mbits/sec                  receiver

iperf Done.

Comments

[Everything_is_not_so_bad]

Mars36, решился ли вопрос?

Answer 1

[Alexey Dmitriev]

Отключите IP-in-IP encapsulation. off вместо always в yaml calico

- name: CALICO_PV4POOL_IPIP
  value: "always"

Comments

[Mars36]

IPIP не включен, по ip link show есть только wireguard.cali и vxlan.calico с мту 1440 и 1450 соответсвенно

[Alexey Dmitriev]

Mars36, точно не включен? Он по умолчанию во включенном состоянии. Какая версия calico?

[Mars36]

Alexey Dmitriev, версия 3.26.4

root@k8s-control:~# calicoctl get ippool -o yaml
apiVersion: projectcalico.org/v3
items:
- apiVersion: projectcalico.org/v3
  kind: IPPool
  metadata:
    creationTimestamp: "2023-11-18T11:05:38Z"
    name: default-ipv4-ippool
    resourceVersion: "1824261"
    uid: 36f6c7c4-a5a2-4680-9dd1-6b8dda144991
  spec:
    blockSize: 26
    cidr: 192.168.0.0/16
    ipipMode: Never
    natOutgoing: true
    nodeSelector: all()
    vxlanMode: Never
kind: IPPoolList
metadata:
  resourceVersion: "1828000"

[Mars36]

Alexey Dmitriev, да, в гугле всем помогает отключение ipip, но я его и так выключал с самого начала. Сейчас еще попробовал отключить vxlan, но на производительности это не сказалось