Как кубернетес балансирует нагрузку по нодам?

Question

[grabbee]

Где почитать и как настроить принцип балансировки?

У меня ноды отличаются по производительности CPU больше чем в два раза. Такое ощущение что кубер балансирует по количеству подов на ноду, а не по нагрузке
* Сейчас на мощной ноде нагрузки больше чем в половину меньше чем на слабых, а подов раскидано приблизительно поровну. А на слабых нашрузка почти в потолок

Comments

[Sand]

kubernetes scheduler

[chupasaurus]

Вы бы документацию читали вместо исследования своих ощущений.

[grabbee]

chupasaurus, через kubespray или helm это можно настроить?

[сергей кузьмин]

grabbee, скорее через конфигурацию подов
https://kubernetes.io/docs/concepts/scheduling-evi...

когда добавите правильные nodeSelector руками и будете уверены можно наверно и через kubespray

[grabbee]

сергей кузьмин, там нужно как то плагин шедулера настроить. Нашел конфиг в кубспрее, но хз как делать

[сергей кузьмин]

grabbee, подозреваю что если выставить label на ноде и matchLabel в подк то шедулер сам переместит

[grabbee]

сергей кузьмин, так да. Я так и сделал. Это жеткая привязка. Ляжет нода, лягут и все сервисы. А аффинити не работает, ну положит он отмеченные поды туда, остальные сольются и он в итоге всё выровнял по количеству подов на нодах - так по дефолту в кубере сейчас. Ему на нагрузку и ресурсы плевать. В этом и было моё удивление. Нахрена я их везде прописал? Чтобы он по нодам по количеству подов раскладывал?...

[сергей кузьмин]

grabbee, может вот это поможет
https://kubernetes.io/docs/tasks/run-application/h...

[grabbee]

сергей кузьмин, scale of a Deployment and its ReplicaSet - нет конечно, это про нагрузку на под. Мне нужно нагрузку на ноды балансировать. Это через шедулер и плагины

[сергей кузьмин]

grabbee, ну когда у вашего кластера возобновляемый запас мощных нод то лоад балансер думаю справится
если одна две три упадет есть же еще

[grabbee]

сергей кузьмин, добавил пока это. Без особого понимания

apiVersion: kubescheduler.config.k8s.io/v1beta3
kind: KubeSchedulerConfiguration
clientConnection:
  kubeconfig: "/etc/kubernetes/scheduler.conf"
leaderElection:
  leaseDuration: 15s
  renewDeadline: 10s
profiles:
- pluginConfig:
    args:
      scoringStrategy:
        resources:
          name: cpu
          weight: 10
        type: RequestedToCapacityRatio <----
    name: NodeResourcesFit <----
  schedulerName: default-scheduler

до этого там не было секции профилей вообще

[grabbee]

RequestedToCapacityRatio - сработало похоже.

Answer 1

[paran0id]

https://kubernetes.io/docs/concepts/scheduling-evi...

Условий много, но в самом простом случае он просто запускает там, где достаточно ресурсов.

Comments

[grabbee]

через kubespray или helm это можно настроить?