Место на диске увеличил k3s не видит свободное место, как можно решить?

Question

[Виктор]

Всем привет, увеличил место на диске Ubuntu 22.04 но k3s "не видит" свободное место на диске. Подскажите нужно ли что-то делать со стороны k3s чтобы он "увидел" свободное место?

kubelet          Node name status is now: NodeHasNoDiskPressure
  Normal   Starting                        33m   kubelet          Starting kubelet.
  Normal   NodeHasSufficientMemory         33m   kubelet          Node name status is now: NodeHasSufficientMemory
  Warning  InvalidDiskCapacity             33m   kubelet          invalid capacity 0 on image filesystem
  Normal   NodeHasSufficientPID            33m   kubelet          Node name status is now: NodeHasSufficientPID
  Normal   NodeNotReady                    33m   kubelet          Node name status is now: NodeNotReady
  Normal   NodeAllocatableEnforced         33m   kubelet          Updated Node Allocatable limit across pods
  Normal   NodePasswordValidationComplete  33m   k3s-supervisor   Deferred node password secret validation complete
  Normal   NodeReady                       33m   kubelet          Node name status is now: NodeReady
  Normal   RegisteredNode                  33m   node-controller  Node name event: Registered Node name in Controller

Answer 1

[Виктор]

Смог наконец-то разобраться. Как выяснилось это проблема в релизе AWX при изначальной сборке был использован тэг latest. Попробовал переразвернуть предпоследний. Поднялось без проблем. Моя первая решенная проблема в k3s :)
Благодарю Vitaly Karasik за отзывчивость.

Answer 2

[Vitaly Karasik]

Покажите вывод "df", плюс расскажите какой диск использует k3s.

Comments

[Виктор]

Filesystem                         Size  Used Avail Use% Mounted on
tmpfs                              794M  2.7M  792M   1% /run
/dev/mapper/ubuntu--vg-ubuntu--lv   57G   12G   44G  21% /
tmpfs                              3.9G   28K  3.9G   1% /dev/shm
tmpfs                              5.0M     0  5.0M   0% /run/lock
/dev/sda2                          2.0G  253M  1.6G  14% /boot
tmpfs                              7.3G  4.0K  7.3G   1% /var/lib/kubelet/pods/bbda698e-c0d8-4161-a040-bfbf57dc0704/volumes/kubernetes.io~secret/awx-secret-key
tmpfs                              7.3G  8.0K  7.3G   1% /var/lib/kubelet/pods/bbda698e-c0d8-4161-a040-bfbf57dc0704/volumes/kubernetes.io~secret/awx-receptor-ca
tmpfs                              7.3G   12K  7.3G   1% /var/lib/kubelet/pods/bbda698e-c0d8-4161-a040-bfbf57dc0704/volumes/kubernetes.io~secret/awx-application-credentials
tmpfs                              7.3G  8.0K  7.3G   1% /var/lib/kubelet/pods/bbda698e-c0d8-4161-a040-bfbf57dc0704/volumes/kubernetes.io~secret/awx-receptor-work-signing
tmpfs                              7.3G   12K  7.3G   1% /var/lib/kubelet/pods/aa869ea5-88ce-4017-97e7-fd79ccf65f8b/volumes/kubernetes.io~projected/kube-api-access-fqvkg
tmpfs                              7.3G   12K  7.3G   1% /var/lib/kubelet/pods/16b161c9-88a0-4cdd-a7a2-fc8a74393a58/volumes/kubernetes.io~projected/kube-api-access-ksbkl
tmpfs                              170M   12K  170M   1% /var/lib/kubelet/pods/51dbe620-b954-448b-a1af-4db8f3cf2c20/volumes/kubernetes.io~projected/kube-api-access-t42jk
tmpfs                              7.3G   12K  7.3G   1% /var/lib/kubelet/pods/16b161c9-88a0-4cdd-a7a2-fc8a74393a58/volumes/kubernetes.io~secret/awx-application-credentials
tmpfs                              7.3G   12K  7.3G   1% /var/lib/kubelet/pods/bbda698e-c0d8-4161-a040-bfbf57dc0704/volumes/kubernetes.io~projected/kube-api-access-xkg7k
tmpfs                              7.3G  8.0K  7.3G   1% /var/lib/kubelet/pods/16b161c9-88a0-4cdd-a7a2-fc8a74393a58/volumes/kubernetes.io~secret/awx-receptor-ca
tmpfs                              7.3G   12K  7.3G   1% /var/lib/kubelet/pods/b516ceff-65f2-4ca1-9743-304563e014d2/volumes/kubernetes.io~secret/awx-application-credentials
tmpfs                              7.3G   12K  7.3G   1% /var/lib/kubelet/pods/b516ceff-65f2-4ca1-9743-304563e014d2/volumes/kubernetes.io~projected/kube-api-access-7smtl
tmpfs                              7.3G  4.0K  7.3G   1% /var/lib/kubelet/pods/16b161c9-88a0-4cdd-a7a2-fc8a74393a58/volumes/kubernetes.io~secret/awx-secret-key
tmpfs                              7.3G  4.0K  7.3G   1% /var/lib/kubelet/pods/b516ceff-65f2-4ca1-9743-304563e014d2/volumes/kubernetes.io~secret/awx-secret-key
tmpfs                              7.3G  8.0K  7.3G   1% /var/lib/kubelet/pods/16b161c9-88a0-4cdd-a7a2-fc8a74393a58/volumes/kubernetes.io~secret/awx-receptor-work-signing
tmpfs                              7.3G  8.0K  7.3G   1% /var/lib/kubelet/pods/b516ceff-65f2-4ca1-9743-304563e014d2/volumes/kubernetes.io~secret/awx-receptor-ca
tmpfs                              7.3G  8.0K  7.3G   1% /var/lib/kubelet/pods/b516ceff-65f2-4ca1-9743-304563e014d2/volumes/kubernetes.io~secret/awx-receptor-work-signing
tmpfs                              4.2G   12K  4.2G   1% /var/lib/kubelet/pods/3a796331-6abe-432f-8cc1-4ac204ea5a55/volumes/kubernetes.io~projected/kube-api-access-npf7t
shm                                 64M   16K   64M   1% /run/k3s/containerd/io.containerd.grpc.v1.cri/sandboxes/30f5285bca036c11d3d0f270a156510418d15784324ca6b0f72d4bffebdabb53/shm
shm                                 64M     0   64M   0% /run/k3s/containerd/io.containerd.grpc.v1.cri/sandboxes/d0a7d99cda33b1f0295864357263fccb2565e0cd0f4cb973ed0979fd08d3a27c/shm
shm                                 64M     0   64M   0% /run/k3s/containerd/io.containerd.grpc.v1.cri/sandboxes/57d8e51311659b7d02330d316dd618ddeda1cc62300c189eabf5351e0d3cf379/shm
shm                                 64M     0   64M   0% /run/k3s/containerd/io.containerd.grpc.v1.cri/sandboxes/8fea305fe79c050a69de40b5d65f3b95531664fc48eb16d4f386bd18dc8e1232/shm
shm                                 64M     0   64M   0% /run/k3s/containerd/io.containerd.grpc.v1.cri/sandboxes/6559f4c956b35a106ff45ec28fcb51909285a8d74be1b3cb4887f6d2062543c5/shm
overlay                             57G   12G   44G  21% /run/k3s/containerd/io.containerd.runtime.v2.task/k8s.io/30f5285bca036c11d3d0f270a156510418d15784324ca6b0f72d4bffebdabb53/rootfs
overlay                             57G   12G   44G  21% /run/k3s/containerd/io.containerd.runtime.v2.task/k8s.io/d0a7d99cda33b1f0295864357263fccb2565e0cd0f4cb973ed0979fd08d3a27c/rootfs
shm                                 64M     0   64M   0% /run/k3s/containerd/io.containerd.grpc.v1.cri/sandboxes/d27745d1662c79317b7f096fbed4af395ec986ac54b0c449a022805a4d5c7676/shm
overlay                             57G   12G   44G  21% /run/k3s/containerd/io.containerd.runtime.v2.task/k8s.io/6559f4c956b35a106ff45ec28fcb51909285a8d74be1b3cb4887f6d2062543c5/rootfs
overlay                             57G   12G   44G  21% /run/k3s/containerd/io.containerd.runtime.v2.task/k8s.io/57d8e51311659b7d02330d316dd618ddeda1cc62300c189eabf5351e0d3cf379/rootfs
overlay                             57G   12G   44G  21% /run/k3s/containerd/io.containerd.runtime.v2.task/k8s.io/8fea305fe79c050a69de40b5d65f3b95531664fc48eb16d4f386bd18dc8e1232/rootfs
overlay                             57G   12G   44G  21% /run/k3s/containerd/io.containerd.runtime.v2.task/k8s.io/d27745d1662c79317b7f096fbed4af395ec986ac54b0c449a022805a4d5c7676/rootfs
overlay                             57G   12G   44G  21% /run/k3s/containerd/io.containerd.runtime.v2.task/k8s.io/9c8fcb49924acc8f210ecca71c9ed6c564444bb3bc9c3fbc40d2ff4205933dc5/rootfs
overlay                             57G   12G   44G  21% /run/k3s/containerd/io.containerd.runtime.v2.task/k8s.io/0d3db460237ff53d6e93d4e5b38182efcf767dc5e839ddbe6766cbff14cbe97f/rootfs
overlay                             57G   12G   44G  21% /run/k3s/containerd/io.containerd.runtime.v2.task/k8s.io/c02e3467de43e01c4e8bfdd5f7c618a093dba36bb38c4d681d4d3cb2665ed95d/rootfs
overlay                             57G   12G   44G  21% /run/k3s/containerd/io.containerd.runtime.v2.task/k8s.io/56d1eae170ff8f10bdee2413422c27c59d476b64e24930d62a8c127e22b6ecb3/rootfs
overlay                             57G   12G   44G  21% /run/k3s/containerd/io.containerd.runtime.v2.task/k8s.io/22d6ec7594ef6cf6653816bef64630329bc5a53f931175479452a06f639e5230/rootfs
shm                                 64M     0   64M   0% /run/k3s/containerd/io.containerd.grpc.v1.cri/sandboxes/3d85db7f6b5398b3dc6083e843303416066da7db825493921ccf4405b779cf98/shm
overlay                             57G   12G   44G  21% /run/k3s/containerd/io.containerd.runtime.v2.task/k8s.io/3d85db7f6b5398b3dc6083e843303416066da7db825493921ccf4405b779cf98/rootfs
tmpfs                              7.3G   12K  7.3G   1% /var/lib/kubelet/pods/bfa17b7e-7ef9-41b3-9a66-bf0c63840c84/volumes/kubernetes.io~projected/kube-api-access-nd28p
tmpfs                              7.3G   12K  7.3G   1% /var/lib/kubelet/pods/728d5c67-47df-4510-84f9-689c536f2d93/volumes/kubernetes.io~projected/kube-api-access-62kfc
shm                                 64M     0   64M   0% /run/k3s/containerd/io.containerd.grpc.v1.cri/sandboxes/0d833a8f8435d73b67824e95cb137f70b4a9a91abd85622fce0d22b4f5389982/shm
shm                                 64M     0   64M   0% /run/k3s/containerd/io.containerd.grpc.v1.cri/sandboxes/0520d8cb7b6891d8d496e50a60c1ab62fc83ab7eefa4a6ce2100301c0f3080f1/shm
overlay                             57G   12G   44G  21% /run/k3s/containerd/io.containerd.runtime.v2.task/k8s.io/0d833a8f8435d73b67824e95cb137f70b4a9a91abd85622fce0d22b4f5389982/rootfs
overlay                             57G   12G   44G  21% /run/k3s/containerd/io.containerd.runtime.v2.task/k8s.io/0520d8cb7b6891d8d496e50a60c1ab62fc83ab7eefa4a6ce2100301c0f3080f1/rootfs
overlay                             57G   12G   44G  21% /run/k3s/containerd/io.containerd.runtime.v2.task/k8s.io/4b3e765ceaf3115460dca1a0a3e75e78190c0b6cfdfbc77659859b5a42ca9444/rootfs
overlay                             57G   12G   44G  21% /run/k3s/containerd/io.containerd.runtime.v2.task/k8s.io/d2f1283cbe21f88b28b1c69ecdaccdbee3fb675d9e96b968f40664e834516648/rootfs
overlay                             57G   12G   44G  21% /run/k3s/containerd/io.containerd.runtime.v2.task/k8s.io/1f86bc4891ccea8b78db37efad034278fb15e0141e3f6f1996729e6077adcc5d/rootfs
overlay                             57G   12G   44G  21% /run/k3s/containerd/io.containerd.runtime.v2.task/k8s.io/71b94f296e546b7414e83638133af2001fb40f3bb5aac1cc2149cc17003d751d/rootfs
tmpfs                              7.3G   12K  7.3G   1% /var/lib/kubelet/pods/8e503a25-84d2-4725-872a-5fe55498cff2/volumes/kubernetes.io~projected/kube-api-access-j8jzg
shm                                 64M     0   64M   0% /run/k3s/containerd/io.containerd.grpc.v1.cri/sandboxes/403612d602b5c1cd8ce49b52d4939de02be59150ff095863ad146011101d81f6/shm
overlay                             57G   12G   44G  21% /run/k3s/containerd/io.containerd.runtime.v2.task/k8s.io/403612d602b5c1cd8ce49b52d4939de02be59150ff095863ad146011101d81f6/rootfs
overlay                             57G   12G   44G  21% /run/k3s/containerd/io.containerd.runtime.v2.task/k8s.io/d1ce9cc53cedcc59254af751672b9e6dd59f4d65aa4fb897f16f096edec0f98c/rootfs
tmpfs                              794M  4.0K  794M   1% /run/user/0
overlay                             57G   12G   44G  21% /run/k3s/containerd/io.containerd.runtime.v2.task/k8s.io/c7cee70b02db4b73c54fbc84cf5637c54e459baa81cecf359cf76225771f898e/rootfs
overlay                             57G   12G   44G  21% /run/k3s/containerd/io.containerd.runtime.v2.task/k8s.io/e0ab3105436014d720ae2eee38370969f8556732fec71b79d2ec66f1b32c347e/rootfs

использует системный диск

[Vitaly Karasik]

Виктор,
да, в линуксе все выглядит нормально.
По-видимому, что-то специфическое в k3s - или он внутри строит свой пул для storage, или что-то другое.
90% уверен, что если удалить и создать кластер заново, все будет ОК, но как починить более элегантно, не знаю.

[Виктор]

Vitaly Karasik, Может быть знаете не хранит ли kubelet где-то данные о диске? Т.к. возникает мысль что он заглючил когда место закончилось на диске. В запаре не увидел алерт.

[Vitaly Karasik]

Виктор, Насколько понимаю, нет.

Я бы проверил какие storage classes используются - думаю, на этом уровне проблема, что там надо обновить информацию.

https://kubernetes.io/docs/concepts/storage/storag...