Как исправить ошибку kubeadm init?

Question

[historydev]

kubectl version --client

Client Version: v1.28.1
Kustomize Version: v5.0.4-0.20230601165947-6ce0bf390ce3

kubeadm version

kubeadm version: &version.Info{Major:"1", Minor:"28", GitVersion:"v1.28.1", GitCommit:"8dc49c4b984b897d423aab4971090e1879eb4f23", GitTreeState:"clean", BuildDate:"2023-08-24T11:21:51Z", GoVersion:"go1.20.7", Compiler:"gc", Platform:"linux/amd64"}

Версии исключают проблему описанную в этом блоке:

kubeadm will not install or manage kubelet or kubectl for you, so you will need to ensure they match the version of the Kubernetes control plane you want kubeadm to install for you. If you do not, there is a risk of a version skew occurring that can lead to unexpected, buggy behaviour. However, one minor version skew between the kubelet and the control plane is supported, but the kubelet version may never exceed the API server version. For example, the kubelet running 1.7.0 should be fully compatible with a 1.8.0 API server, but not vice versa.

Устанавливался он на виртуальную машину proxmox с системой ubuntu server 22.04.3 minimized.

Без vpn к сожалению не пингуется k8s, так что включён vpn на хосте, WireGuard.
Настроен маскарад в NAT.

Установил всё по документации, установил так-же cri-docker как там написано, запускаю командой:

kubeadm init --v=5 --cri-socket=unix:///var/run/cri-dockerd.sock

При запуске без явно указанного сокета, получаю ошибку, у меня их 2 (containerd и cri-docker), как я понял из инструкции cri-docker он должен выбираться по умолчанию.

Вывод при использовании cri-dockerd

[kubelet-check] The HTTP call equal to 'curl -sSL http://localhost:10248/healthz' failed with error: Get "http://localhost:10248/healthz": dial tcp 127.0.0.1:10248: connect: connection refused.

Вывод после kubeadm reset --v=5 --cri-socker=unix:///var/run/cri-dockerd.sock и kubeadm init --v=5 --cri-socket=unix:///var/run/containerd/containerd.sock

[preflight] Some fatal errors occurred:
        [ERROR CRI]: container runtime is not running: output: time="2023-09-07T15:56:59Z" level=fatal msg="validate service connection: validate CRI v1 runtime API for endpoint \"unix:///var/run/containerd/containerd.sock\": rpc error: code = Unimplemented desc = unknown service runtime.v1.RuntimeService"
, error: exit status 1

В чём ошибка и как её исправить?

Comments

[Alexey Dmitriev]

У вас одна машина и вы пытаетесь развернуть полноценный k8s? Для чего и что мешает взять что-то легкое типа k3s

[historydev]

Alexey Dmitriev,

Для изучения производственного k8s мне нужно купить ангар серверов?

Полу-решения меня не устраивают. - я уже ставил minikube

[chupasaurus]

historydev, Если вы хотите изучать производственный k8s, то в качестве рантайма используйте containerd вместо экспериментальных костылей.

[historydev]

chupasaurus, Серьёзное заявление, особенно если брать в учёт факт того, что они рекомендуют cri-docker в связке с docker-engine.

Я конечно попробовал, но выдаёт ошибку, возможно из-за того что я установил cri-docker.

Попробую на чистой машине повторить сегодня.

[chupasaurus]

historydev, Кто эти загадочные они, рекомендующие запускать k8s с Docker?
Номер текущей версии cri-dockerd - 0.3.4 - какбы намекает на production readiness. А рассказывать всю историю почему Docker не дружит с OCI и CRI у меня желания нет.

[historydev]

chupasaurus, https://kubernetes.io/docs/setup/production-enviro...

[chupasaurus]

historydev, Вы упускаете момент о том, что в офф доках нет рекомендаций, а только перечисление вариантов в алфавитном порядке.

[historydev]

chupasaurus,

По этой причине необходимо установить дополнительную службу cri-dockerd

Что я упускаю в слове "необходимо"?

[historydev]

chupasaurus, правильно ли я понимаю, я не могу установить докер и юзать его вместе с кубером в случае выбора containerd?

[chupasaurus]

historydev,

Что я упускаю в слове "необходимо"?

Вы упускаете всё сопутствующее веселье по спариванию CRI с dockerd, из-за которого dockershim и закапывали.

я не могу установить докер и юзать его вместе с кубером в случае выбора containerd?

Ничего не мешает сосуществованию Docker и использование kubelet-ом containerd, первый естесственно не будет видеть контейнеры второго.

[historydev]

chupasaurus,

Откатился к бэкапу, поставил всё заново, кроме cri-docker, переустановил containerd, т.к. ошибка была таже, вот по этой инструкции, ошибка аналогична той, что с cri-docker.

Я не понимаю почему не заводится, дело в виртуалке или в чём может быть причина?

[kubelet-check] It seems like the kubelet isn't running or healthy.
[kubelet-check] The HTTP call equal to 'curl -sSL http://localhost:10248/healthz' failed with error: Get "http://localhost:10248/healthz": dial tcp 127.0.0.1:10248: connect: connection refused.
[kubelet-check] It seems like the kubelet isn't running or healthy.
[kubelet-check] The HTTP call equal to 'curl -sSL http://localhost:10248/healthz' failed with error: Get "http://localhost:10248/healthz": dial tcp 127.0.0.1:10248: connect: connection refused.

[historydev]

chupasaurus,

Мне весь лог тостер не даёт скинуть, слишком много символов, я могу залить в файл и загрузить на файлообменник какой, если вам это поможет понять в чём проблема может быть.

[chupasaurus]

historydev, да пока весь лог не нужен.
А CNI были установлены? Пакет containernetworking-plugins

[historydev]

chupasaurus,

root@kuber:/home/kuber-user# apt list containernetworking-plugins
Listing... Done
containernetworking-plugins/jammy 0.9.1+ds1-1 amd64

[chupasaurus]

А что говорит kubeadm init preflight?

[historydev]

chupasaurus,

unknown command "preflight" for "kubeadm init"

[chupasaurus]

Алсо, посыпаю голову пеплом, Docker со смотрящим в containerd кублетом не могут сосуществовать, потому что issue за 4 года было вытащено из бэклога ... 3 недели назад. Так что docker придётся удалять и ставить containerd (не containerd.io!!), именно в таком порядке.

[historydev]

chupasaurus, попробую сейчас, вот ошибки:

[kubelet-check] It seems like the kubelet isn't running or healthy.
[kubelet-check] The HTTP call equal to 'curl -sSL http://localhost:10248/healthz' failed with error: Get "http://localhost:10248/healthz": dial tcp 127.0.0.1:10248: connect: connection refused.
[kubelet-check] It seems like the kubelet isn't running or healthy.
[kubelet-check] The HTTP call equal to 'curl -sSL http://localhost:10248/healthz' failed with error: Get "http://localhost:10248/healthz": dial tcp 127.0.0.1:10248: connect: connection refused.

Unfortunately, an error has occurred:
        timed out waiting for the condition

This error is likely caused by:
        - The kubelet is not running
        - The kubelet is unhealthy due to a misconfiguration of the node in some way (required cgroups disabled)

If you are on a systemd-powered system, you can try to troubleshoot the error with the following commands:
        - 'systemctl status kubelet'
        - 'journalctl -xeu kubelet'

Additionally, a control plane component may have crashed or exited when started by the container runtime.
To troubleshoot, list all containers using your preferred container runtimes CLI.
Here is one example how you may list all running Kubernetes containers by using crictl:
        - 'crictl --runtime-endpoint unix:///var/run/containerd/containerd.sock ps -a | grep kube | grep -v pause'
        Once you have found the failing container, you can inspect its logs with:
        - 'crictl --runtime-endpoint unix:///var/run/containerd/containerd.sock logs CONTAINERID'
error execution phase wait-control-plane: couldn't initialize a Kubernetes cluster
To see the stack trace of this error execute with --v=5 or higher
root@kuber:/home/kuber-user# systemctl status kubelet
● kubelet.service - kubelet: The Kubernetes Node Agent
     Loaded: loaded (/lib/systemd/system/kubelet.service; enabled; vendor preset: enabled)
    Drop-In: /usr/lib/systemd/system/kubelet.service.d
             └─10-kubeadm.conf
     Active: activating (auto-restart) (Result: exit-code) since Fri 2023-09-08 10:04:11 UTC; 40ms ago
       Docs: https://kubernetes.io/docs/
    Process: 3426 ExecStart=/usr/bin/kubelet $KUBELET_KUBECONFIG_ARGS $KUBELET_CONFIG_ARGS $KUBELET_KUBEADM_ARGS $KUBELET_EXTRA_ARGS (code=exited, status=1/FAILURE)
   Main PID: 3426 (code=exited, status=1/FAILURE)
        CPU: 37ms
root@kuber:/home/kuber-user# crictl --runtime-endpoint unix:///var/run/containerd/containerd.sock ps -a | grep kube | grep -v pause
root@kuber:/home/kuber-user# journalctl -xeu kubelet
░░ Defined-By: systemd
░░ Support: http://www.ubuntu.com/support
░░ 
░░ A stop job for unit kubelet.service has finished.
░░ 
░░ The job identifier is 7806 and the job result is done.
Sep 08 10:04:31 kuber systemd[1]: Started kubelet: The Kubernetes Node Agent.
░░ Subject: A start job for unit kubelet.service has finished successfully
░░ Defined-By: systemd
░░ Support: http://www.ubuntu.com/support
░░ 
░░ A start job for unit kubelet.service has finished successfully.
░░ 
░░ The job identifier is 7806.
Sep 08 10:04:31 kuber kubelet[3454]: Flag --container-runtime-endpoint has been deprecated, This parameter should be set via the config file specified by the Kubelet's --config flag. See https://kubernetes.io/docs/tasks/administer-cluster/kubelet-config-file/ for more information.
Sep 08 10:04:31 kuber kubelet[3454]: Flag --pod-infra-container-image has been deprecated, will be removed in a future release. Image garbage collector will get sandbox image information from CRI.
Sep 08 10:04:31 kuber kubelet[3454]: I0908 10:04:31.645758    3454 server.go:203] "--pod-infra-container-image will not be pruned by the image garbage collector in kubelet and should also be set in the remote runtime"
Sep 08 10:04:31 kuber kubelet[3454]: I0908 10:04:31.647568    3454 server.go:467] "Kubelet version" kubeletVersion="v1.28.1"
Sep 08 10:04:31 kuber kubelet[3454]: I0908 10:04:31.647579    3454 server.go:469] "Golang settings" GOGC="" GOMAXPROCS="" GOTRACEBACK=""
Sep 08 10:04:31 kuber kubelet[3454]: I0908 10:04:31.647663    3454 server.go:895] "Client rotation is on, will bootstrap in background"
Sep 08 10:04:31 kuber kubelet[3454]: I0908 10:04:31.648466    3454 certificate_store.go:130] Loading cert/key pair from "/var/lib/kubelet/pki/kubelet-client-current.pem".
Sep 08 10:04:31 kuber kubelet[3454]: I0908 10:04:31.649490    3454 dynamic_cafile_content.go:157] "Starting controller" name="client-ca-bundle::/etc/kubernetes/pki/ca.crt"
Sep 08 10:04:31 kuber kubelet[3454]: I0908 10:04:31.652595    3454 server.go:725] "--cgroups-per-qos enabled, but --cgroup-root was not specified.  defaulting to /"
Sep 08 10:04:31 kuber kubelet[3454]: E0908 10:04:31.652724    3454 run.go:74] "command failed" err="failed to run Kubelet: running with swap on is not supported, please disable swap! or set --fail-swap-on flag to false. /proc/swaps contained: [Filename\t\t\t\tType\t\tSize\t\tUsed\t\tPriority /swap.img     >
Sep 08 10:04:31 kuber systemd[1]: kubelet.service: Main process exited, code=exited, status=1/FAILURE
░░ Subject: Unit process exited
░░ Defined-By: systemd
░░ Support: http://www.ubuntu.com/support
░░ 
░░ An ExecStart= process belonging to unit kubelet.service has exited.
░░ 
░░ The process' exit code is 'exited' and its exit status is 1.
Sep 08 10:04:31 kuber systemd[1]: kubelet.service: Failed with result 'exit-code'.
░░ Subject: Unit failed
░░ Defined-By: systemd
░░ Support: http://www.ubuntu.com/support
░░ 
░░ The unit kubelet.service has entered the 'failed' state with result 'exit-code'.
lines 3493-3530/3530 (END)
^C
root@kuber:/home/kuber-user#

И в добавок, я заметил устаревшую версию и начал гуглить: https://github.com/cri-o/cri-o/issues/6985

[chupasaurus]

historydev, своп надо отключить.