Как бороться c memory leaks в pods на кластере Kubernetes?

Question

[Вадим]

Привет,

требуется для каждой ноды в кластере, чтобы 15% памяти всегда было доступно для kubectl и др сервисов. Кроме того, как лучше подойти к конфигурации pod, чтобы при memory leak в контейнере все равно не смог сьесть всю память? Или лучше работать на уровне Docker Containers?

всем добра,
Вадим

Answer 1

[chupasaurus]

1. В конфиге kubelet выставляете нужное кол-во оперативы для системных и обычных подов
   
2. k8s при создании cgroup пода выставляет memory.limit_in_bytes соответственно лимиту
   
3. В подах, где возможны утечки, выставляете resources.requests.memory равное лимиту
   

Первое резервирует ресурсы для системных и кластерных сервисов, второе будет дёргать OOM при достижении лимита, третье убирает возможность оверпровижена.

Comments

[Вадим]

Спасибо за ответ... если можно уточнить.

2. k8s при создании cgroup пода выставляет memory.limit_in_bytes соответственно лимиту - это из конфига первого пункта?

дергать OOM - а что при этом происходит с подом?

[chupasaurus]

Вадим, лимит памяти берётся из спеки пода.
Ядро запускает oomkiller по процессам в поде.

Answer 2

[Максим]

Ммм, а разве ограничение ресурсов памяти не помогает в этом?

resources:
  limits:
    memory: "1024Mi"

Comments

[Vitaly Karasik]

+1