Решает ли Django Channels проблему с блокирующими запросами?

Question

[toddbarry]

Django Channels позволяет джанге работать с сокетами. Таким образом не возникает необходимости постоянно спрашивать сервер - не появилось ли для клиента новой информации.
Но как быть с асинхронной обработкой запросов? Допустим 10 клиентов подключены сокетами к серверу. Статику отдаёт nginx. Запросы выдать динамику отправляет в channel layer сперва?
Ну а что дальше? динамический сервер генерирует по 10 сообщений для каждого клиента. Он ведь всё равно будет делать это последовательно? Или я что-то не так понял
Можно ли на джанге реализовать асинхронную обработку в целях повышения скорости обработки
Если нет, какую альтернативу бы вы посоветовали?

Answer 1

[Сергей Горностаев]

Десять соединений от клиентов подключены к интерфейсному процессу - серверу Daphne. Запросы, приходящие через эти соединения, передаются в очередь, например Redis. А оттуда уходят воркерам, которые последовательно запускают синхронные обработчики. Если воркеров у вас 5 и одновременно пришло 10 запросов к вьюхе, которой на ответ нужна секунда, то 5 клиентов получат ответ через секунду, а ещё 5 через две. Django Channels - это почти как Django + Celery. Основная разница только в возможности удерживать множество открытых соединений.

Если нужна полноценная асинхронность, то лучше посмотреть в сторону aiohttp.

Comments

[toddbarry]

Спасибо.
Можно только уточнить несколько деталей, дабы понять как это работает получше.
Скажем есть 5 воркеров и 10 клиентов. Каким образом у воркера получается обработать синхронный код асинхронно? Что будет если эти 10 клиентов просят информацию из базы данных? запросы к базе будут отправляться воркерами асинхронно? Не могу понять как это реализуется если процессов не становится больше и запросы к базе написаны не в асинхронном стиле

То есть меня интересуют не детали реализации, а схема работы
П.С. В Celery я так же не до конца понял Consumer'ы :)

[toddbarry]

Например во вьюхе прописан запрос к базе. 10 клиентов через daphne отправляют запросы 5 воркерам. воркеры далее отправляют эти запросы на вьюху. Сперва первые 5 штук. Получается в этом случае вьюха отправит 5 запросов к базе одновременно? и будет ждать секунду когда вернутся ответы, затем обратно отдаст ответы воркерам и примет следующие 5 запросов? так? Даже несмотря на то что во вьюхе код блокирующий?

[toddbarry]

И я так понимаю, Celery может удерживать больше соединений?

[Сергей Горностаев]

toddbarry, каждый воркер - это отдельный процесс интерпретатора python. Он подписан на очередь брокера (Redis) и находится в заблокированном состоянии пока брокер что-нибудь не отдаст. Когда от брокера приходит сообщение, воркер определяет какой код надо выполнить для обработки сообщения, запускает соответствующую функцию обработчика, а потом снова переходит в блокировку. Соответственно, если через 10 соединений придут 10 запросов, Daphne передаст их все брокеру, брокер пробудит 5 процессов воркеров, каждый из них запустит своей экземпляр вьюхи и каждая вьюха сделает запрос к базе, а потом операция полностью повторится для ещё 5 запросов от брокера.

[Сергей Горностаев]

toddbarry, Celery вообще соединения держать не умеет. Она аналогична воркерам Channels, просто ждёт сообщений из очереди брокера.

[toddbarry]

Сергей Горностаев, Понял. Значит процессы всё таки плодятся - мне показалось что процессов больше не становится, поэтому не мог понять, как так получается. Спасибо.
Но тогда выходит что если соединений очень много, то channels будет кушать немало памяти ввиду того что придётся запустить много воркеров чтобы быстро обрабатывать всех клиентов и требования к железу возрастают?

[Сергей Горностаев]

toddbarry, не, процессов не будет больше, чем вы запустите. Если их изначально 5, то они и будут обрабатывать сообщения из очереди партиями.

[toddbarry]

Сергей Горностаев, То есть я хоте сказать Django + Celery может больше?

Django Channels - это почти как Django + Celery. Основная разница только в возможности удерживать множество открытых соединений.

[toddbarry]

Сергей Горностаев, Но если в секунду нужно обрабатывать скажем 1000 соединений и каждое обрабатывается 1 секунду, то нужно 1000 воркеров :)
Они конечно не автоматически плодятся, а запускаются разработчиком

[Сергей Горностаев]

toddbarry, не, Django + Celery может меньше. В этой связке соединение принимает wsgi-сервер, а он полностью синхронный, в отличии от Daphne. Если воркера 3 и уже есть три соединения, то новые соединения вообще установиться не смогут. В обычном Django вьюхи должны ответить как можно быстрее и закрыть соединение, чтобы принять новое.

[Сергей Горностаев]

toddbarry, когда нужно обрабатывать 1000 долгих запросов, лучше брать полностью асинхронный сервер, типа aiohttp.

[toddbarry]

Сергей Горностаев, Огромное Вам спасибо! Прямо разложили всё по полочкам!

[toddbarry]

Сергей Горностаев, А можно ведь, думаю, распределить нагрузку и всё.
Для не особенно долгих запросов использовать django channels, а для долгих отправлять запросы на aiohttp с http frontend сервера

[Сергей Горностаев]

toddbarry, да, можно так сделать.