Как запустить несколько ботов в докере?

Question

[Paymir121]

Задача: запустить много ботов в одном докере.
При запуске локально на винде или маке, то все нормально запускается и работает как и предсказывается
Но при запуске в докере выдается ошибка:

backend1-1  |   File "uvloop/loop.pyx", line 2887, in uvloop.loop.Loop.add_signal_handler
backend1-1  |     raise ValueError(
backend1-1  | ValueError: add_signal_handler() can only be called from the main thread

После экспериментов с многопоточностью и различными вариантами кода, то понял что сам докер блокирует все потоки

class BaseTelegramBot:
    """Основа телеграмм Бота"""

    def __init__(self, bot_data):
        super().__init__()
     self.bot = Bot(token=self.token)
     self.dispatcher = Dispatcher()

bot = BaseTelegramBot(bot_data=bot_data)
asyncio.run(bot.start())  

async def start(self):
        py_logger.info(f"Бот стартовал {self.bot_data.id}")
        await self.bot.set_my_commands(commands=self.commands)
        await self.dispatcher.start_polling(self.bot)

проект open source:
Как запустить множество ботов в докере?

Comments

[d'Ivan]

После экспериментов с многопоточностью и различными вариантами кода, то понял что сам докер блокирует все потоки

Почему был сделан такой вывод?

Answer 1

[fenrir]

Задача: запустить много ботов в одном докере.

Где докер файл, которым ты решаешь эту задачу? Что значит в одном докере? В одном контейнере? Зачем?

После экспериментов с многопоточностью и различными вариантами кода, то понял что сам докер блокирует все потоки

Какое отношение к вопросу имеет многопоточность?

Наиболее предсказуемый вариант разворачивать ботов независимо друг от друга. Если им нужно какое-то общение между собой это реализуется другими средствами: общей БД, реплицированным кэшем, брокерами сообщений и прочими, но никак не запуском в одном процессе.

Comments

[Paymir121]

Да, в одном контейнере, задача проекта запуск и редактирование n+ ботов на сервере.
Общение между ботами не нужно, но как сущности они должны быть запущенны отдельно.
На винде и на Маке, без докера запускается все отлично, но как только запуск происходит в контейнере то выдается ошибка.
Пробовал запустить код в многопоточном режиме используя threading, но ошибка таже

[d'Ivan]

Paymir121,
1. не хочешь ли наконец показать свой Dockerfile?
2. как запускаешь контейнер?

[Paymir121]

Everything_is_not_so_bad,

FROM python:3.12-slim

ENV POETRY_VERSION=1.8.2

ENV POETRY_HOME=/opt/poetry
ENV POETRY_VIRTUALENVS_CREATE=false
ENV PATH="$POETRY_HOME/bin:$PATH"

ENV PYTHONUNBUFFERED=1
ENV PYTHONDONTWRITEBYTECODE=1

RUN apt-get update && apt-get install --no-install-recommends -y curl \
	&& curl -sSL https://install.python-poetry.org | python3 - --version ${POETRY_VERSION} \
	&& apt-get purge --auto-remove -y curl \
	&& rm -rf /var/lib/apt/lists/*

WORKDIR /app

COPY . .

RUN apt-get update && apt-get install --no-install-recommends -y build-essential  \
	&& poetry install --no-root --only main \
	&& apt-get purge --auto-remove -y build-essential \
	&& rm -rf /var/lib/apt/lists/*

CMD ["python", "db.py"]
CMD ["python", "test_data.py"]
CMD ["uvicorn", "api:app", "--proxy-headers", "--host", "0.0.0.0", "--port", "8000"]

[Paymir121]

Paymir121, сам проект и файл запуска https://github.com/modular-platform-it/backend/blo...

[fenrir]

Paymir121, текущая логика в репе нормально работать не будет никогда. Вы пытаетесь запускать ботов внутри одного процесса. Мало того что такой запуск не предусмотрен используемой библиотекой, выполнение любых вычислений в одном боте, будет подвешивать всех остальных.
Как ниже отписано в другом ответе для подобной логики нужен мультипроцессинг, либо боты должны разворачиваться независимо, а над ними должен быть оркестратор. В общем не зачет вашему айти-акселератору, пусть объясняют про потоки, асинхронность и процессы, вы пока пытаетесь зайти в дом через дымоход.

[Paymir121]

fenrir, акселератор это чисто объединение 20 младых лбов, что бы сделать интересный проект. Помощи нет от акселератора, только ревью кода на наличие говнокода. В этом и смысл его, что бы создавать новое и набраться опыта в тех вещах которые реально необходимы в дальнейшем. Главное пробовать попасть в дом, хоть через дымоход) Ну это отступление небольшое

Если "текущая логика в репе нормально работать не будет никогда", то как тогда она работает на винде/маке без докера. Возможно при создании нового экземпляра класса BaseTelegramBot, питон как то сам распараллеливает все вычисления? Тогда почему в контейнере докера это не канает
вчера пробовал на thread переписать, но докеры выдает ту же ошибку.
Примерный код:

bot = BaseTelegramBot(bot_data=bot_data)
    bot_thread = threading.Thread(target=bot.run_bot)
    bot_thread.start()

class BaseTelegramBot:
    def __init__(self, bot_data):
        super().__init__()
        self.bot = Bot(token=self.token)
        self.dispatcher = Dispatcher()

    def run_bot(self):
        loop = asyncio.new_event_loop()
        asyncio.set_event_loop(loop)
        loop.run_until_complete(self.start())
        loop.close()

    async def start(self):
        await self.dispatcher.start_polling(self.bot)

и второй вариант на thread, ошибка в докере аналогичная

with concurrent.futures.ThreadPoolExecutor() as executor: 
        executor.submit(bot.start)

Завтра буду пробовать переписыванием все на мультипроцессы и запустить.
Сегодня DockerHub дал прикурить)

[fenrir]

Paymir121, она работает до первых вычислительных задач. Потоки в питоне выполняются внутри одного процесса при помощи переключения между ними. Любые операции занимающие много времени заставят другие потоки ожидать освобождения GIL'а. Да этот тот самый случай, когда GIL на что-то влияет.

У вас бонусом еще намешаны потоки и асинхронщина, так что получается вообще лютый коктейль.

[Paymir121]

fenrir, Хорошо, понял, буду пробовать выстраивать многопроцессную архитектуру. К такому жизнь меня пока не готовила... Aiogram и fastapi сами по себе ассинхроны, так что коктейль я варю лютый)

[d'Ivan]

Paymir121, дал свой ответ ниже.

[Paymir121]

сделал на многопроцессорности: https://github.com/modular-platform-it/backend/blo...
все работает. Пока отрабатываю вариант, что запускаю n процессов, с вечным ожиданием изменений общей переменой( которое должно происходить в fastapi процессе) и если оно произойдет происходит запуск выбранного бота( пока сам механизм Query не выработан, так что только один скромный бот)
Вопрос, а как можно запустить эти новые n+ процессы прямо из fastapi процесса, без костылей в виде предзапущенных процессов?

[fenrir]

Paymir121,

Пока отрабатываю вариант, что запускаю n процессов, с вечным ожиданием изменений общей переменой

Для отдельных процессов не существует общих переменных. Новый процесс содержит свое пространство памяти.
Для общения необходимо использовать очереди, каналы или иной вид взаимодействий.

[Paymir121]

fenrir, под переменой я имел в виду multiprocessing.Value('i', 0), она работает как общая переменная для процессов. Чувствую что херню делаю полную и надо уже к кубернетису обратится(

Answer 2

[Сергей Соловьев]

Вместо разных потоков используй разные процессы

Answer 3

[d'Ivan]

Запускай 1 бот на 1 контейнер.
Код один. Экземпляров - сколько необходимо. (того же контейнера).
Переделывать нет нужды. Один процесс на каждый экземпляр. Вот и все.

https://thelinuxcode.com/scale-services-in-docker-...

Comments

[Paymir121]

Это самый правильный вариант, но для него нужно 1) брокер очередей 2) оркестрацию контейнеров. Я пока совсем слаб в этих вещах. Если не получиться с многопроцессоностью, буду переходить на 1 бот - 1 контейнер и плакать в подушку

Answer 4

[Paymir121]

получение текущего добавление и добавление в него таска сработало.
asyncio.get_event_loop().create_task(bot.start(), name=f"start_{bot_id}")