Как сделать Многопоточную или асинхронную обработку запросов FASTAPI?

Question

[Dozent_AS]

Доброго дня! Я не силен в веб разработка да и вообще кодил давно!

Я написал сервер на ФАСТАПИ все методы асинхронные и он работает но!
В ходе выполнения работы моего сервера есть часть где идет ожидание ответа от другого сервиса!
И тут у меня возникают проблемы! А иммено:

Если сервер пример запрос от Юзер1 и если в момент подготовки ответа Юзер2 на сервер отправит еще запрос, то эта штука ждет пока будет обработан запрос от Юзер2, даже с учетом, что ответ для Юзер1 уже получин и становиться как бы в очередь!
А еще если пока готовиться ответ для Юзер2, Юзер1 пришлет еще запрос, то мы будем ждать пока придет ответ для второго запроса Юзер1 и потом когда на все запросы получен ответ, сервер выплевыет это всем сразу!

Как сделать так чтобы это работало в отдельном потоке? Как я вычитал если я назову метод асинхронным это не значит что он будет работать асинхронно или чото типо того.

Прошу помощи) Пока не нашел ответ на мою проблему!

Comments

[Михаил Р.]

Показывайте код.

[Dozent_AS]

Михаил Р., извиняюсь, но код показать не могу)
Подскажите плз куда обратить внимание?
Какие причины могут быть?

[Михаил Р.]

Dozent_AS,

извиняюсь, но код показать не могу)

Подскажите плз куда обратить внимание?

Куда то в ту сторону, точнее сказать не могу, т.к. в той стороне не видно кода, а гадать - особо нет времени.

Answer 1

[Михаил Кростелев]

Скорее всего у вас где-то вызывается синхронный код в асинхронном ендпоинте. И этот код блокирует event loop.
Посмотрите пример

@app.get("/delay")
async def delay():
    time.sleep(10)
    return {"result": "OK!"}


@app.get("/instantly")
async def instantly():
    return {"result": "OK!"}

Если сделать запрос на /delay и тут же сделать запрос на /instantly, получится то, о чем я говорю, когда синхронная time.sleep() блокирует цикл событий. Ответ от второго запроса придет только после отработки первого. Обратите внимание, что delay объявлена через async def.

Исправить это можно двумя способами
- Использовать асинхронный await asyncio.sleep()

@app.get("/delay")
async def delay():
    await asyncio.sleep(10)
    return {"result": "OK!"}

- Объявить функцию синхронной через def

@app.get("/delay")
def delay():
    time.sleep(10)
    return {"result": "OK!"}

Возможно именно в этом у вас проблема. Найдите синхронный код и либо перепишите на асинхронный вариант, если это возможно (если для обращения в другой сервис вы используете requests, замените на aiohttp или httpx), либо саму функцию ендпоинта сделайте синхронной.

Comments

[Dozent_AS]

Да я это уже находил в сети. Но прикол в том что я использую
await asyncio.sleep(0.2)

То о чемы пишите!

Преблема другая! Ответ получаю, проблема не в том что мы ждум получения овтета чтобы получить другой, ответы получаются прекрасно!
Но ФАСТАПИ ждет получения всех овтетов чтоыб их раздать они как бы в ожидание становятся!

Я првоерял! овтеты приходят но не отдаются пока не будут получены ответы на все запросы! Как будто бы это штука работает в одном потоке или чо там Воркеры или еще какая штука

[chemdev]

Dozent_AS, никто все равно не завангует что в коде. Скинь код проблемных эндпоинтов.

[Михаил Кростелев]

Dozent_AS, т.е. если сделать очередной запрос пока выполняются уже запущенные, то ответ всем вернется только после отработки этого очередного запроса?

Без кода мы тут уже бессильны.

[Dozent_AS]

Михаил Кростелев, иммено так) Окей) поудмаю как передать код.
Тут еще может быть момент что я использую сторонюю либу, и вот там мб подводные комни эти и зарыты.

[Everything_is_bad]

Dozent_AS, проблема в 28й строке

Answer 2

[Dozent_AS]

я решил)

Проблема была в том, что я присылал эти запросы из ТГ бота! В котором было синхронное обращение!
Перевод обращение к моей апишки на асинхрон и все заработало) всем спасибо)