Чем обусловлена такая разница в асинхронной обработке запросов?

Question

[Max Payne]

Есть endpoint на aiohttp с uvloop'ом, тестирую siege'ом, есть два тестовых случая: в одном используется asyncio.create_task(func()), что создаёт асинхронную задачу и обрабатывает её, но нигде не используется await этой задачи, так как её результат мне не нужен и она просто должна отработать, а в другом используется await func().
Результаты тестирований:

Transactions:		        4549 hits
Availability:		      100.00 %
Elapsed time:		       29.72 secs
Data transferred:	        0.01 MB
Response time:		        1.02 secs
Transaction rate:	      153.06 trans/sec
Throughput:		        0.00 MB/sec
Concurrency:		      156.78
Successful transactions:        4549
Failed transactions:	           0
Longest transaction:	        3.23
Shortest transaction:	        0.11

Transactions:		        4638 hits
Availability:		       99.42 %
Elapsed time:		       29.34 secs
Data transferred:	        0.11 MB
Response time:		        0.81 secs
Transaction rate:	      158.08 trans/sec
Throughput:		        0.00 MB/sec
Concurrency:		      128.02
Successful transactions:        4638
Failed transactions:	          27
Longest transaction:	        7.42
Shortest transaction:	        0.14

Как можно заметить, время самого длительного и самого медленного запросов во втором случае больше (самый длительный запрос - в два раза), однако конкурентность и среднее время ответа (20% - достаточно существенно) меньше, но при этом количество обработанных транзакций за время тестирования больше как и среднее количество обрабатываемых транзакций в секунду.

Почему так получается? Стоит ли использовать asyncio.create_task везде, где мне не нужен результат задачи?

Answer 1

[lega]

1) Отличие этих 2-х результатов это "Data transferred:", второй вариант передал в 10 раз больше данных, значит больше работы - меньше rps - т.е. тесты не эквивалентны

2) если вам не надо ждать результат то не используйте await, тогда завершить запрос можно будет быстрее

в целом create_task не даст вам большую производительность, а асинхронный вызов не может занимать ни 3 ни 7 сек, скорее у вас код блокирующий или тормозной, и ни asyncio ни aiohttp тут не причем.

PS: asyncio + uvloop могут выдавать до 100к rps на среднем ноутбуке в один поток, поэтому не это причина ваших 150rps

--- тест asyncio + uvloop + httptools на среднем ноутбуке
Результат: 123krps, и max latency 6.74ms

Запуск wrk:

$ docker run --rm -it --network=host williamyeh/wrk -c 200 -d 10 http://localhost:8888/

Результат:

Running 10s test @ http://localhost:8888/
  2 threads and 200 connections
  Thread Stats   Avg      Stdev     Max   +/- Stdev
    Latency     1.59ms  404.50us   6.74ms   58.61%
    Req/Sec    62.18k     7.51k   74.02k    68.00%
  1237743 requests in 10.06s, 47.22MB read
Requests/sec: 123044.52
Transfer/sec:      4.69MB

import asyncio
import uvloop
from httptools import HttpRequestParser

class RpcProtocol(asyncio.Protocol):
    def connection_made(self, transport):
        self.transport = transport
        self.parser = HttpRequestParser(self)

    def connection_lost(self, exc):
        self.transport = None

    def data_received(self, data):
        self.parser.feed_data(data)

    def on_message_complete(self):
        #if self.url == b'/hello':
        response = b'HTTP/1.1 200 OK\nContent-Length: 5\n\nHello'
        self.transport.write(response)

        if not self.parser.should_keep_alive():
            self.transport.close()
            self.transport = None

if __name__ == '__main__':
    loop = uvloop.new_event_loop()
    asyncio.set_event_loop(loop)
    coro = loop.create_server(RpcProtocol, '127.0.0.1', 8888)
    loop.run_until_complete(coro)
    loop.run_forever()
    loop.close()

Comments

[Max Payne]

Отправлялись абсолютно одинаковые данные.
У меня достаточно много запросов к базе данных + есть запросы к внешним API, многие из которых кешировать нельзя, а те что можно и так кешируются.

[Владимир Олохтонов]

Max Payne, а запросы к базе и внешним API асинхронные?

[Max Payne]

Владимир Олохтонов, Ну да, к базе motor, к внешним апи aiohttp.

[Max Payne]

2) если вам не надо ждать результат то не используйте await, тогда завершить запрос можно будет быстрее

Но ведь в таком случае будут сыпаться предупреждения, что корутина никогда не была awaited, а с тасками такого нет.

[Владимир Олохтонов]

Max Payne, а вы на распределение времени ответов не пробовали смотреть? Мне кажется 95 и 99 персентили лучше картинку показывают.

Имхо, 7 секунд — это безумно долго, Яндекс успевает полный ответ с тысяч серверов и десятков систем собрать за 50 миллисекунд.

[Max Payne]

Владимир Олохтонов, siege вроде бы не умеет в распределение ответов. Чем-то другим протестировать?

[Max Payne]

PS: asyncio + uvloop могут выдавать до 100к rps на среднем ноутбуке в один поток, поэтому не это причина ваших 150rps

Заинтересовали эти цифры. Решил попробовать сколько сможет вытянуть самый простой Hello

import uvloop
import asyncio

from aiohttp import web


async def handle(request):
    return web.Response(text='Hello')

app = web.Application()
app.add_routes([web.get('/', handle)])

asyncio.set_event_loop_policy(uvloop.EventLoopPolicy())
web.run_app(app)

Transactions: 50317 hits
Availability: 100.00 %
Elapsed time: 29.15 secs
Data transferred: 1.10 MB
Response time: 0.17 secs
Transaction rate: 1726.14 trans/sec
Throughput: 0.04 MB/sec
Concurrency: 296.96
Successful transactions: 0
Failed transactions: 0
Longest transaction: 3.16
Shortest transaction: 0.00

Здесь concurrency 300 (во всех предыдущих тестах моего api я ставил 200), но 3 секунды самый длинный запрос ... хм :)

[lega]

Max Payne, Я вам в ответе сделал пример, у меня он выдает: 123krps, и max latency 6.74ms
используйте wrk, возможно ваша тулза тормозная...
Если для вас httptools сильно низкоуровневый, то можете взять sanic который на нем основан.

[Max Payne]

lega, в принципе, я разобрался в вашем коде, но я ведь понимаю, что проблема то у меня скорей всего именно в нагруженной бизнес-логике, много запросов к бд, есть запросы к сторонним апи. Хоть саник и быстрее в моих тестах в три раза чем aiohttp, но я не думаю, что если переведу свое приложение на него у меня будет существенный прирост.

[lega]

Max Payne, ну как я и написал изначально "ни asyncio ни aiohttp тут не причем."

если у вас нагруженная бизнес логика, тогда возмите не асинхронный фреймворк например flask/bottle (что-нибудь на uwsgi) и запускайте в 16* процессов. пока не упретесь в CPU или базу - это будет максимальгная производительность для данного кода/сервера, дальше надо будет оптимизировать код/запросы/баланснг...
и это будет работать гораздо быстрее чем с asyncio, асинхронные фреймворки вообще созданы не для таких задач.

[lega]

Max Payne, по простому - если ваш тест сейчас отрабатваает за 30 сек, то при запсуке в 2 процесса, он будет отрабатывать за 15 сек и т.д. (пока не упрется в cpu/io/базу).

[Max Payne]

lega, Я выставляю не количество запросов, а сразу время тестирования в 30 секунд. А смысл мне использовать какое-то синхронное решение, если у меня сейчас всё асинхронно? Я могу точно так же aiohttp запустить в несколько процессов.

[Max Payne]

lega, Цель вопроса вообще была в том, стоит ли использовать asyncio.create_task тогда, когда функция ничего не возвращает и мне не нужен её ответ, даст ли это прирост какой-либо?