Поды на ноде переодически запускаются и падают. В чём может быть проблема и как её исправить?

Question

[Kroyzen]

Есть ряд микросервисов, запущенных на worker node. После перезапуска этой ноды, все упавшие поды начали восстанавливаться, но восстановиться не могут. Часть из них выходит в статус Running, но затем заново падает со статусом CrashLoopBackOff.

Причем в описании состояния висит это:

Last State:     Terminated
      Reason:       Completed
      Exit Code:    0
      Started:      Thu, 09 Jun 2022 12:48:37 +0000
      Finished:     Thu, 09 Jun 2022 12:49:16 +0000

Вроде оперативки и проца на worker node хватает. Проверял htop'ом - нагрузки нет. Из-за чего же тогда они постоянно запускаются и падают?

Если смотреть логи самих подов, то по логам можно понять, что приложение запускается.... а затем падает... Скорее всего из-за того, что сам k8s их стопает.

{"level":"info","msg":"Starting grpc server","time":"2022-06-09T12:16:16Z"}
{"level":"info","msg":"Shutting down server...","time":"2022-06-09T12:16:51Z"}
{"level":"info","msg":"Server exiting","time":"2022-06-09T12:16:52Z"}

Answer 1

[mayton2019]

Вот этот grpc server работает 0 секунд и завершает работу. Надо смотреть его логи почему он завершился. Возможно новая версия - с дефектом.

Comments

[Kroyzen]

Как раз таки все его логи я и скинул. То есть он сразу же после запуска вырубается. Причем это не только с этим микросервисом! Так почти со всеми! Мне кажется это из-за того, что сам k8s стопает поды по неизвестной мне причине. Сейчас, уже через пару часов, абсолютно все поды запущены в статусе Running. Но всё равно, хотелось бы знать, в чем была причина такого поведения, и как это избежать в дальнейшем.

P.S. Сейчас глянул поды, большенство из них опять упали. Время проблему не решило.

[mayton2019]

Kroyzen, у тебя в настройках есть такое?

livenessProbe:
  ....

[Kroyzen]

mayton2019, Да, в них стоит grpc_probe, который пингует базу данных. Но если бы была проблема с подключением к БД, то в логах это было бы указано. Есть микросервис, в котором этот grpc_probe успешно пингует БД в логах, но потом всё равно тупо стопается.

[mayton2019]

Kroyzen, мы с чем боремся? С новым софтом. Или просто разработчик выдал новую версию? Если так - то image: менялся и попробуй верни старую версию. Если заработает - тогда пиши письма разработчику. Дескыть софт падает.

[Kroyzen]

mayton2019, Мы боремся с постоянно падающими подами. Просто у нас люди перезагрузили worker node, из-за чего абсолютно все поды попадали. Ну и k8s сейчас пытается их заново поднять, но не может. Они то поднимаются, то падают.

[mayton2019]

Kroyzen, ну сорян. На таком уровне я не готов разбираться. Посмотри логи мастер-ноды. Возможно это она их роняет.

Вот как тут пишут https://kubernetes.io/docs/tasks/debug/debug-cluster/

[Kroyzen]

mayton2019, Можешь подсказать, какой информации недостаточно?

[mayton2019]

Яж не девопс. Посмотри на мастере такие логи /var/log/kube-*
Что в конце?