Как посмотреть причины ошибок при старте argocd в локальном кластере k8s?

Question

[Алексей]

Добрый день.

Есть желание попробовать ArgoCD, но столкнулся с вопросом при установке.

По докам установка указана крайне простая - создать namespace и применить yaml
Из предупреждений - только учесть namespace , если надо его поменять.
https://argo-cd.readthedocs.io/en/stable/getting_s...

Попробовал на чистом кластере на виртуальных машинах с flannel

# kubectl get no -o wide
NAME        STATUS   ROLES           AGE     VERSION   INTERNAL-IP      EXTERNAL-IP   OS-IMAGE             KERNEL-VERSION      CONTAINER-RUNTIME
ukube1      Ready    worker          5d18h   v1.29.1   192.168.29.171   <none>        Ubuntu 22.04.3 LTS   5.15.0-91-generic   containerd://1.6.27
ukube2      Ready    <none>          5d18h   v1.29.1   192.168.29.172   <none>        Ubuntu 22.04.3 LTS   5.15.0-91-generic   containerd://1.6.27
ukube3      Ready    <none>          34h     v1.29.1   192.168.29.173   <none>        Ubuntu 22.04.3 LTS   5.15.0-91-generic   containerd://1.6.27
ukubemain   Ready    control-plane   5d18h   v1.29.1   192.168.29.170   <none>        Ubuntu 22.04.3 LTS   5.15.0-91-generic   containerd://1.6.27

argocd установился, но некоторые его поды не могут запуститься:

#kubectl get all -n argocd
NAME                                                   READY   STATUS                   RESTARTS        AGE
pod/argocd-application-controller-0                    0/1     ContainerCreating        0               8m42s
pod/argocd-applicationset-controller-5f975ff5-9gl2b    0/1     Evicted                  0               9m1s
pod/argocd-applicationset-controller-5f975ff5-cjlvt    0/1     Evicted                  0               8m59s
pod/argocd-applicationset-controller-5f975ff5-jlsxc    0/1     Evicted                  0               9m1s
pod/argocd-applicationset-controller-5f975ff5-lsxr6    0/1     Completed                0               17m
pod/argocd-applicationset-controller-5f975ff5-phs7p    0/1     ImagePullBackOff         0               8m56s
pod/argocd-applicationset-controller-5f975ff5-qgxzv    0/1     Evicted                  0               9m2s
pod/argocd-applicationset-controller-5f975ff5-spck9    0/1     Error                    0               20m
pod/argocd-dex-server-5cb44cbfcd-4tssc                 0/1     Init:ImagePullBackOff    0               8m34s
pod/argocd-dex-server-5cb44cbfcd-6b2xv                 0/1     Error                    0               9m8s
pod/argocd-dex-server-5cb44cbfcd-lf9mk                 0/1     Error                    1 (9m41s ago)   17m
pod/argocd-dex-server-5cb44cbfcd-tdlcr                 0/1     PodInitializing          0               20m
pod/argocd-notifications-controller-566465df76-2bj9w   0/1     ImagePullBackOff         0               8m43s
pod/argocd-notifications-controller-566465df76-47bpl   0/1     ContainerStatusUnknown   0               20m
pod/argocd-notifications-controller-566465df76-v6sl8   0/1     Error                    0               16m
pod/argocd-redis-69d46564c7-kdmt6                      0/1     ContainerStatusUnknown   0               17m
pod/argocd-redis-69d46564c7-mt2bh                      1/1     Running                  0               9m12s
pod/argocd-redis-69d46564c7-rnsl6                      0/1     Completed                0               20m
pod/argocd-repo-server-6d5f959b8f-2mx4x                0/1     Init:ImagePullBackOff    0               8m58s
pod/argocd-repo-server-6d5f959b8f-5l4ss                0/1     Evicted                  0               9m
pod/argocd-repo-server-6d5f959b8f-qnrkm                0/1     Error                    0               20m
pod/argocd-repo-server-6d5f959b8f-vrbmx                0/1     PodInitializing          0               9m5s
pod/argocd-repo-server-6d5f959b8f-x6kpg                0/1     ContainerStatusUnknown   1 (9m8s ago)    17m
pod/argocd-server-7b6bb89949-kthf2                     0/1     ContainerCreating        0               8m35s
pod/argocd-server-7b6bb89949-nqcvb                     0/1     ContainerStatusUnknown   0               20m
pod/argocd-server-7b6bb89949-t8pg6                     0/1     Error                    0               9m4s
pod/argocd-server-7b6bb89949-xdrdg                     0/1     Error                    0               16m

NAME                                              TYPE        CLUSTER-IP       EXTERNAL-IP   PORT(S)                      AGE
service/argocd-applicationset-controller          ClusterIP   10.110.204.39    <none>        7000/TCP,8080/TCP            27m
service/argocd-dex-server                         ClusterIP   10.108.199.44    <none>        5556/TCP,5557/TCP,5558/TCP   27m
service/argocd-metrics                            ClusterIP   10.102.74.161    <none>        8082/TCP                     27m
service/argocd-notifications-controller-metrics   ClusterIP   10.101.138.182   <none>        9001/TCP                     27m
service/argocd-redis                              ClusterIP   10.96.19.1       <none>        6379/TCP                     27m
service/argocd-repo-server                        ClusterIP   10.106.213.66    <none>        8081/TCP,8084/TCP            27m
service/argocd-server                             ClusterIP   10.96.234.73     <none>        80/TCP,443/TCP               27m
service/argocd-server-metrics                     ClusterIP   10.111.55.225    <none>        8083/TCP                     27m

NAME                                               READY   UP-TO-DATE   AVAILABLE   AGE
deployment.apps/argocd-applicationset-controller   0/1     1            0           27m
deployment.apps/argocd-dex-server                  0/1     1            0           27m
deployment.apps/argocd-notifications-controller    0/1     1            0           27m
deployment.apps/argocd-redis                       1/1     1            1           27m
deployment.apps/argocd-repo-server                 0/1     1            0           27m
deployment.apps/argocd-server                      0/1     1            0           27m

NAME                                                         DESIRED   CURRENT   READY   AGE
replicaset.apps/argocd-applicationset-controller-5f975ff5    1         1         0       20m
replicaset.apps/argocd-dex-server-5cb44cbfcd                 1         1         0       20m
replicaset.apps/argocd-notifications-controller-566465df76   1         1         0       20m
replicaset.apps/argocd-redis-69d46564c7                      1         1         1       20m
replicaset.apps/argocd-repo-server-6d5f959b8f                1         1         0       20m
replicaset.apps/argocd-server-7b6bb89949                     1         1         0       20m

NAME                                             READY   AGE
statefulset.apps/argocd-application-controller   0/1     27m

Логи какого-нибудь пода посмотреть не получается:

# kubectl logs pod/argocd-server-7b6bb89949-t8pg6
Error from server (NotFound): pods "argocd-server-7b6bb89949-t8pg6" not found

Подскажите, за что зацепиться, чтобы понять, чего не хватает?

Comments

[Алексей]

По Evicted предположил, что что-то не то с нодами - и правда, argocd съел все место.
До сих пор я тестировал всякие мелкие деплои и им карманного кластера хватало.

# kubectl get pod/argocd-applicationset-controller-5f975ff5-97mx5 -n argocd -o yaml | grep status: -A10
status:
  conditions:
  - lastProbeTime: null
    lastTransitionTime: "2024-01-29T10:53:39Z"
    message: 'The node was low on resource: ephemeral-storage. Threshold quantity:
      1046402268, available: 683620Ki. '
    reason: TerminationByKubelet

Добавление места на все ноды ожидаемо помогло подняться всем служебным подам.
Но все деплои остались READY 0/1...

С ходу по describe deployment.apps/argocd-server не увидел причин, поэтому просто удалил всё и заново сделал apply. Все поднялось, буду пробовать...

[Алексей]

По Evicted предположил, что что-то не то с нодами - и правда, argocd съел все место.
"The node was low on resource: ephemeral-storage"

# kubectl get pod/argocd-applicationset-controller-5f975ff5-97mx5 -n argocd -o yaml | grep status: -A10
status:
  conditions:
  - lastProbeTime: null
    lastTransitionTime: "2024-01-29T10:53:39Z"
    message: 'The node was low on resource: ephemeral-storage. Threshold quantity:
      1046402268, available: 683620Ki. '
    reason: TerminationByKubelet

Добавление места на все ноды ожидаемо помогло подняться всем служебным подам.