Как прокидывать Ingress controller наружу?

Question

[VITYA-XY1]

Здравствуйте господа DevOps
Битый час не могу разобраться как же за "экспоузить" порты 80 и 443 наружу:
Посмотрел вроде бы внятный туториал:

Но в данном примере ничего наружу не прокидывается к тому же NodePort может принимать значения не меньше 30000
Как сам ingress resource мапится к сервису app я примерно понял (по лейблу сервиса).
А вот как грамотно развернуть ingress controller для нормальной работы ingress ресурсов для меня пока непонятно:
1) деплоится образ ingress-nginx гугловский либо от самого nginx.
2) создается соответсвующий сервис, конфигмапы и создается сервис-аккаунт.
Так вот теперь вопрос::
КАК этот сервис пробросить наружу 80.443 через NodePort если доступны только порты от 30000.
Гугля нашел пост где это делается через daemon set
Встречал примеры где это делается через облачный LoadBalancer. Но относительно того как это правильно делается на железе так и не понял.
Не можли бы Вы внятно объяснить или поделиться примером?
Благодарю

Answer 1

[Pavel Zamyatin]

Приветствую.

Ниже пример конфигурации daemon set для bare-metal k8s. Если будут вопросы - пишите.

apiVersion: extensions/v1beta1
kind: DaemonSet
metadata:
  name: nginx-ingress-lb
  labels:
    name: nginx-ingress-lb
  namespace: kube-system
spec:
  updateStrategy:
    type: RollingUpdate
  template:
    metadata:
      labels:
        name: nginx-ingress-lb
      annotations:
        prometheus.io/port: '10254'
        prometheus.io/scrape: 'true'
    spec:
      serviceAccountName: nginx-ingress-serviceaccount
      # This may be used to push kubernetes SVCs to the internet
      # Label a secure host as 'edge-router' + setup forwarding, SSL certs, etc.
      hostNetwork: true
      nodeSelector:
        node-role.kubernetes.io/ingress: "true"
      terminationGracePeriodSeconds: 60
      containers:
      - image: quay.io/kubernetes-ingress-controller/nginx-ingress-controller:0.25.0
        name: nginx-ingress-lb
        readinessProbe:
          httpGet:
            path: /healthz
            port: 10254
            scheme: HTTP
        livenessProbe:
          httpGet:
            path: /healthz
            port: 10254
            scheme: HTTP
          initialDelaySeconds: 10
          timeoutSeconds: 1
        ports:
        - containerPort: 80
          hostPort: 80
        - containerPort: 443
          hostPort: 443
        env:
          - name: POD_NAME
            valueFrom:
              fieldRef:
                fieldPath: metadata.name
          - name: POD_NAMESPACE
            valueFrom:
              fieldRef:
                fieldPath: metadata.namespace
        args:
        - /nginx-ingress-controller
        - --default-backend-service=$(POD_NAMESPACE)/default-http-backend
        - --configmap=$(POD_NAMESPACE)/nginx-ingress-configmap
        - --default-ssl-certificate=$(POD_NAMESPACE)/default-ssl-cert

Comments

[VITYA-XY1]

Спасибо,
1) Как ресурсы ingress мапятся к определенному daemonset, ведь там указан только тип ингрес контроллера.
2) NS целесообразно направлять на 1 IP кластера? Будет ли в этом случае возможно настроить плавающую ip с кворумом?
3) Можно ли поднять рабочее решение ingress controller через deployment + services на bare metal?

[Pavel Zamyatin]

1. Не совсем понимаю вопрос. Если вы хотите использовать несколько контроллеров в своем кластере, то можете использовать аннотацию:

annotations:
    kubernetes.io/ingress.class: "nginx"

Но в данном случае ее можно опустить, так как контроллер в моем примере у нас только один.
2. Зависит от конфигурации сети. Если можете - то лучше направлять на IP каждой ноды кластера, где запущен контроллер.
3. Не уверен что понял вопрос. Что-то типа такого?

[VITYA-XY1]

Спасибо
Уточнение по вопросу 2:
если падает одна из нод которой присвоен 1 из 3 ip в кластере, какое решение использовать в качестве баласинровщика, чтобы добиться отказоустойчивости - исключить упавшую ноду как апстрим? Наслышан о ELB от AWS но если нужно бесплатное решение есть ли варианты?(очень много запросов со стороны клиентов, сейчас используем cloudflare в качестве ns без проксирования)
Уточнение по вопросу 3:
Скорее всего так делать нецелесообразно потому что если пробраcывать порт с поды на ноду то может быть всего один под на ноде с пробросом такого же порта. В случае с сервисом можно пробросить только порты начиная с 30000.

[Pavel Zamyatin]

2. Посмотрите вот в эту сторону: https://metallb.universe.tf/ Заодно поделитесь результатами, у самого пока руки не доходили. :)
3. Да, скорее всего, так и есть.

[noute]

Pavel Zamyatin, Для Metallb нужен DHCP пул IP адрессов если это в режиме layer 2 mode. Вопрос а есть ли какой нибудь простой пример Ingress-а если у меня 1 master 2 worker на baremetal ? без всяких там DNS RoundRobin.