Как сделать многопоточное выполнение команд?

Question

[MichaelMih]

Доброго времени суток. Как сделать выполнение команд бота таким образом, чтоб они выполнялись без задержки? Допустим 20.000 пользователей введут команду, и ответ для них был моментальный.

Comments

[Vindicar]

Профилируй, потом оптимизируй. Сначала научись определять, где задержка. Может, она в сетевом лаге?

[MichaelMih]

Vindicar, дело не в сетевом лаге. У меня к примеру имеется 20 команд, и обработчик их выглядит таким образом:

class MessagHandler:
    handlers = [Class1, Class2, Class3,  ... , Class20]

    def new_message(self, event):
        for handler in self.handlers:
            handler.handle(event)

И это занимает определенное время, допустим одновременно 20.000 пользователей введут команду, и программа вызовет метод handle в классе каждой команды 400.000, т.е. как минимум проверка if regexp.find("команда") будет вызвана 400.000 раз, и это затратно по времени ( из-за того-что программа выполняется в одном потоке ). Создавать 20.000 потоков тоже не вариант, потому-что это ударяет в производительность системы, и требуется альтернативное решение проблемы.

[Vindicar]

Во-первых, имеет смысл выделить команды в отдельный тип события, и парсить их из сообщений в одном месте, а не в каждом обработчике.
Во-вторых, смотря какого плана нагрузка на бота.
Если команды CPU-bound, т.е. что-то активно считают, но делают не так много ввода-вывода, то делать пул потоков или процессов (через multiprocessing), и прогонять обработчики через них.
Если команды IO-bound, т.е. в основном делают ввод вывод (http запросы, работу с диском, с базой и пр), то тогда проектировать бота асинхронным, и выполнять обработчики не один за одним, а вместе через asyncio.gather(). Не придётся париться с многопоточностью, но зато пока одна команда ждёт ввода/вывода - другие работают.

И да, 20к запросов в секунду - это очень много. Тут уже нужно как-то шардировать бота, т.е. запускать неколько ботов под одной учёткой, и работающих с одной базой.

Answer 1

[rPman]

Абсолютно все действия, требующие на выполнение времени, должны быть асинхронными, запускаемые в отдельных потоках. Как минимум это работа с базой данных, сетевыми запросами и даже файлами.

Проще - нужно чтобы сам обработчик работал не в одном потоке а в нескольких или даже процессах/серверах, т.е. запускай несколько обработчиков, а центральный, через который идет подключение, должен только перенаправлять запросы.