Доброго времени суток. Как сделать выполнение команд бота таким образом, чтоб они выполнялись без задержки? Допустим 20.000 пользователей введут команду, и ответ для них был моментальный.
Vindicar, дело не в сетевом лаге. У меня к примеру имеется 20 команд, и обработчик их выглядит таким образом:
class MessagHandler:
handlers = [Class1, Class2, Class3, ... , Class20]
def new_message(self, event):
for handler in self.handlers:
handler.handle(event)
И это занимает определенное время, допустим одновременно 20.000 пользователей введут команду, и программа вызовет метод handle в классе каждой команды 400.000, т.е. как минимум проверка if regexp.find("команда") будет вызвана 400.000 раз, и это затратно по времени ( из-за того-что программа выполняется в одном потоке ). Создавать 20.000 потоков тоже не вариант, потому-что это ударяет в производительность системы, и требуется альтернативное решение проблемы.
Во-первых, имеет смысл выделить команды в отдельный тип события, и парсить их из сообщений в одном месте, а не в каждом обработчике.
Во-вторых, смотря какого плана нагрузка на бота.
Если команды CPU-bound, т.е. что-то активно считают, но делают не так много ввода-вывода, то делать пул потоков или процессов (через multiprocessing), и прогонять обработчики через них.
Если команды IO-bound, т.е. в основном делают ввод вывод (http запросы, работу с диском, с базой и пр), то тогда проектировать бота асинхронным, и выполнять обработчики не один за одним, а вместе через asyncio.gather(). Не придётся париться с многопоточностью, но зато пока одна команда ждёт ввода/вывода - другие работают.
И да, 20к запросов в секунду - это очень много. Тут уже нужно как-то шардировать бота, т.е. запускать неколько ботов под одной учёткой, и работающих с одной базой.
Абсолютно все действия, требующие на выполнение времени, должны быть асинхронными, запускаемые в отдельных потоках. Как минимум это работа с базой данных, сетевыми запросами и даже файлами.
Проще - нужно чтобы сам обработчик работал не в одном потоке а в нескольких или даже процессах/серверах, т.е. запускай несколько обработчиков, а центральный, через который идет подключение, должен только перенаправлять запросы.
