Какой асинхронный фреймворк под python самый быстрый?

Question

[Сергей Тихонов]

Стоит задача получать из RabbitMQ задачи и делать HTTP-запросы с учетом RateLimit, авторизацией и прочей бизнес-логикой. Наличие сетевого взаимодействия явно ведет к использованию асихронных фреймворков, вроде gevent, tornado, twisted, asyncio.
Вопрос к работавшим с этими фреймворками: на одинаковых низкоуровневых задачах, кто из них быстрее?

Comments

[Сергей Тихонов]

Pavel Denisov, если вы имеете ввиду, что я упрусь по скорости в реализацию бизнес-логики - то да, скорее всего так и будет. Однако можно привести простой пример:

Пусть на фреймворке X реализация функционала занимает 50% времени CPU, а на фреймворке Y - 90%. При ускорении бизнес-логики в 2 раза, во сколько раз увеличится производительность сервиса целиком?
Для фреймворка X это будет (50 + 50)/(50 + 50/2) = +33% , для фреймворка Y - (10 + 90) / (10 + 90/2) = +82%.

Поэтому вопрос о наиболее эффективном фреймворке всё еще актуален.

Answer 1

[Дмитрий Матвеев]

Asyncio + uvloop

Comments

[Дмитрий Матвеев]

Pavel Denisov, да, точно, спасибо

[Сергей Тихонов]

Спасибо за ответ, asyncio + aiohttp люблю и уважаю, но все-таки не уверен, что это самый быстрый вариант. uvloop по опыту в продакшне добавляет +15% к RPS веб-сервера, это конечно круто.
Однако, "счетчик просмотров" на основе redis + incr работает в 10 раз быстрее на связке uwsgi + python-redis, нежели чем gunicorn + aiohttp + aioredis.

Answer 2

[Владимир]

то таки не морочьте себе голову, а сделайте все на celery. тем более что брокер у вас есть.
а еще я думаю скорость тут врядли нужна, а больше будет делаться упор на качество, потому процессы длинные будут и следовательно Вам может понадобиться selenium
вобщем думаю что постановка вопроса несколько не полная и отсюда Вы будете иметь не правильные советы

Comments

[Абдулла Мурсалов]

эм, что?