Почему не получается запустить MetalLB в кластере k3s?

Question

[trickster2019]

Добрый день, я столкнулся с проблемой того что невозможно подключить MetalLB к K3S, у меня есть кластер с 3 masters и 3 workers

NAME            STATUS   ROLES                       AGE    VERSION
master-node-1   Ready    control-plane,etcd,master   4d2h   v1.30.5+k3s1
master-node-2   Ready    control-plane,etcd,master   4d1h   v1.31.1+k3s1
master-node-3   Ready    control-plane,etcd,master   4d1h   v1.31.1+k3s1
worker-node-1   Ready    <none>                      4d1h   v1.31.1+k3s1
worker-node-2   Ready    <none>                      4d     v1.31.1+k3s1
worker-node-3   Ready    <none>                      4d     v1.31.1+k3s1

я устанавливаю MetalLB manifests

kubectl apply -f https://raw.githubusercontent.com/metallb/metallb/v0.14.5/config/manifests/metallb-native.yaml

и применяю следующую конфигурацию

apiVersion: metallb.io/v1beta1
kind: IPAddressPool
metadata:
  name: k3s-lb-pool
  namespace: metallb
spec:
  addresses:
  - 192.168.0.170-192.168.0.180
  autoAssign: true
---
apiVersion: metallb.io/v1beta1
kind: L2Advertisement
metadata:
  name: k3s-lb-pool
  namespace: metallb

но получаю ошибку

Error from server (InternalError): error when creating "metalLB-config.yaml": Internal error occurred: failed calling webhook "ipaddresspoolvalidationwebhook.metallb.io": failed to call webhook: Post "https://metallb-webhook-service.metallb.svc:443/validate-metallb-io-v1beta1-ipaddresspool?timeout=10s": no endpoints available for service "metallb-webhook-service"
Error from server (InternalError): error when creating "metalLB-config.yaml": Internal error occurred: failed calling webhook "l2advertisementvalidationwebhook.metallb.io": failed to call webhook: Post "https://metallb-webhook-service.metallb.svc:443/validate-metallb-io-v1beta1-l2advertisement?timeout=10s": no endpoints available for service "metallb-webhook-service"

при условии того что на всех нодах matalLB поднялся

root@master-node-1:~# kubectl get pod -n=metallb-system
NAME                          READY   STATUS    RESTARTS        AGE
controller-86f5578878-9ddsr   1/1     Running   2 (3m31s ago)   4m57s
speaker-5j47x                 1/1     Running   0               4m56s
speaker-6drpd                 1/1     Running   0               4m56s
speaker-ccpmq                 1/1     Running   0               4m56s
speaker-jfpch                 1/1     Running   1 (3m12s ago)   4m56s
speaker-mps8b                 1/1     Running   0               4m57s
speaker-t9lx2                 1/1     Running   0               4m56s

я также попробовал использовать версию MetalLB 0.12.1, но она работает уж больно не стабильно (дай бог 1 из 3 раз что то загрузиться).
Скажу заранее
встроенный load balancer от k3s я отключил
версия ubuntu

No LSB modules are available.
Distributor ID: Ubuntu
Description:    Ubuntu 22.04.5 LTS
Release:        22.04
Codename:       jammy

Comments

[trickster2019]

частично я смог решить пробелу с помощью команды

kubectl delete validatingwebhookconfigurations metallb-webhook-configuration

пространство ip адресов создалось, сервису назначался ip адрес, но дже после всего этого нечего не получилось

Name:                     nginx-service
Namespace:                default
Labels:                   <none>
Annotations:              metallb.universe.tf/ip-allocated-from-pool: addr-pool
Selector:                 app=nginx
Type:                     LoadBalancer
IP Family Policy:         SingleStack
IP Families:              IPv4
IP:                       10.43.123.58
IPs:                      10.43.123.58
LoadBalancer Ingress:     192.168.0.170
Port:                     <unset>  80/TCP
TargetPort:               80/TCP
NodePort:                 <unset>  31099/TCP
Endpoints:                10.42.4.9:80
Session Affinity:         None
External Traffic Policy:  Local
HealthCheck NodePort:     32393
Events:
  Type     Reason                  Age                   From                Message
  ----     ------                  ----                  ----                -------
  Normal   IPAllocated             29m (x2 over 29m)     metallb-controller  Assigned IP ["192.168.0.170"]
  Normal   EnsuringLoadBalancer    4m35s (x11 over 29m)  service-controller  Ensuring load balancer
  Warning  SyncLoadBalancerFailed  4m35s (x11 over 29m)  service-controller  Error syncing load balancer: failed to ensure load balancer: no address pools could be found

как я понял сервис не смог синхронизироваться с пулом ip адресов, но как он в тот же самый момент смог получить ip мне не понятно

[Alexey Dmitriev]

"я устанавливаю MetalLB manifests".
А где установка CRD для metallb?

Answer 1

[trickster2019]

наконец решил это проблему.
сначала ставим сам metalLB (будьте внимательны в зависимости от версии будет меняться файл конфига)

kubectl apply -f https://raw.githubusercontent.com/metallb/metallb/v0.14.5/config/manifests/metallb-native.yaml

потом запускаем список ip адресов
pool-ip.yml

apiVersion: metallb.io/v1beta1
kind: IPAddressPool
metadata:
  name: pool-ip
  namespace: metallb-system
spec:
  addresses:
  - 192.168.0.170-192.168.0.200

kubectl -n metallb-system apply -f pool-ip.yml

потом обязательно проверяем создался ли список ip адресов
kubectl -n metallb-system get IPAddressPool

если вылетает подобная ошибка

Error from server (InternalError): error when creating "metalLB-config.yaml": Internal error occurred: failed calling webhook "ipaddresspoolvalidationwebhook.metallb.io": failed to call webhook: Post "https://metallb-webhook-service.metallb.svc:443/validate-metallb-io-v1beta1-ipaddresspool?timeout=10s": no endpoints available for service "metallb-webhook-service"

то запускает эту команду, и после ошибки не будет

kubectl delete validatingwebhookconfigurations metallb-webhook-configuration

после чего запускает что то типа провайдера до этих ip адресов
l2-advertisement.yml

apiVersion: metallb.io/v1beta1
kind: L2Advertisement
metadata:
  name: k3s-lb-pool
  namespace: metallb-system
spec:
  ipAddressPools:
  - pool-ip

kubectl apply -f l2-advertisement.yml
после чего проверяем подсосал ли он ip адреса
kubectl get l2advertisement -A
После всего этого Load Balancer должен быть доступен

Answer 2

[Vitaly Karasik]

Проверьте namespace - я не работал с MetalLB, но в примерах конфигурации IPAddressPool используется metallb-system, не metallb как у вас.

Comments

[trickster2019]

я щас юзаю вот такой конфиг

---
apiVersion: metallb.io/v1beta1
kind: IPAddressPool
metadata:
  name: k3s-lb-pool
  namespace: metallb-system
spec:
  addresses:
  - 192.168.0.170-192.168.0.200
  autoAssign: true
---
apiVersion: metallb.io/v1beta1
kind: L2Advertisement
metadata:
  name: k3s-lb-pool
  namespace: metallb-system

[Vitaly Karasik]

trickster2019,
советую посмотреть логи всех подов, тем более в вашем "kubectl get pod -n=metallb-system" несколько подов нестабильны.

Answer 3

[Lifailon]

Я заметил проблему в рабе speaker-ов у metallb как только одна из нод меняется на поде, эта информация не обновляется в спикере и он просто залипает (если я правильно понимаю VIP привязывается к конкретной ноде, и в этом вся проблема)... Это может произойти 10 раз на дню и помогает только пересоздание (путем удаления) спикеров.

Настроено кстати все как в комменатрии выше и работал, но возможно кто-то знает, как решить проблему с обнаружением переездов подов по нодам?