Балансировка нагрузки python + kubernetes?

Question

[rapidtyphoon404]

Стоит задача реализовать балансировку нагрузки нейросети. Задача следующая: есть телеграм бот на python и нейросетка Stable Diffusion. Один мудрый человек отсюда посоветовал использовать kubernetes, чтобы снизить нагрузку. То есть, раскидать несколько инстансов нейросетки в kubernetes.

С kubernetes буду работать впервые. Какие советы можете дать, и есть ли какой-то гайд? Не смог найти.

Comments

[akelsey]

С kubernetes буду работать впервые

Ваш оптимизм прям вселяет оптимизм =)

[rapidtyphoon404]

akelsey, мне 16 лет. Думаете, с моим юношеским максимализмом есть что-то невозможное?

[akelsey]

rapidtyphoon404, не знаю, даже теперь интересно. Держите нас в курсе -)

[сергей кузьмин]

rapidtyphoon404,

https://redhat-scholars.github.io/kubernetes-tutor...
https://cloud.google.com/kubernetes-engine/docs/co...
https://cloud.google.com/architecture/implementing...
https://cloud.google.com/kubernetes-engine/docs/ho...

https://cloud.google.com/load-balancing/docs/load-...
https://kubernetes.io/docs/concepts/workloads/pods...

[Виктор Козлов]

Кубер решает задачу оркестрации приложения, думаю в вашем случае лучше использовать docker-compose (docker stack), для текущих нужд хватит.

Кубер относительно не сложно установить, но прежде чем использовать кубер, нужно обернуть приложение в докер. Видится что будет что-то вроде такое: телегам бот <-> queue <-> worker. Дополнительно и опционально, нужно прокинуть доступ к GPU из под докера. Для начала можно попробовать docker-compose, будет проще вначале разрабатывать и привести к рабочему состоянию. После этого, можно использовать kubernetes. В любом случае можно попробовать и docker-compose, и кубер.

https://ealebed.github.io/posts/2018/%D0%B7%D0%BD%...

[Модератор]

Не надо лепить как можно больше тэгов.
См.п.3.1 Регламента. Также обратите внимание на п.3.4, 3.6

Answer 1

[chupasaurus]

Один мудрый человек отсюда посоветовал использовать kubernetes, чтобы снизить нагрузку. То есть, раскидать несколько инстансов нейросетки в kubernetes.

Мудрость человека под сомнением, т.к. от распределения нагрузки меньше не станет.
Для распределения достаточно наделать воркеров и очередь для задач, а где это всё поднимать - вопрос отдельный. У managed k8s есть преимущество в виде отсутствия необходимости половых отношениях с драйверами для видеокарт и рантайма для контейнеров, но платно.