Не будет ли этот код блокировать асинхронный код?

Question

[OCCASS OCCASSOVICH]

У меня есть вот такой

код

import asyncio
import datetime
import random
from functools import wraps, partial

import plotly.express as px


def async_wrap(func):
    @wraps(func)
    async def run(*args, loop=None, executor=None, **kwargs):
        if loop is None:
            loop = asyncio.get_event_loop()
        pfunc = partial(func, *args, **kwargs)
        return await loop.run_in_executor(executor, pfunc)

    return run


@async_wrap
def get_plot_bytes() -> bytes:
    now = datetime.datetime.now()
    data = {now.replace(day=now.day + i): random.randint(1, 10) for i in range(10)}
    fig = px.area(x=list(data.keys()), y=list(data.values()), title='Статистика покупок')
    fig.update_layout(xaxis_title="Дата", yaxis_title="Количество покупок")
    return fig.to_image('png')


async def main():
    await get_plot_bytes()


if __name__ == '__main__':
    asyncio.new_event_loop().run_until_complete(main())

для создания графика. И вот я решил на всякий случай узнать, будет ли блокировать этот код асинхронный код (код бота, aiogram)

Comments

[Вадим]

какой питон?

[OCCASS OCCASSOVICH]

Вадим, 3.8

[OCCASS OCCASSOVICH]

Вадим, но вообще я код немного поменял, вот так

код

import asyncio
import datetime
import random
from functools import wraps, partial

import plotly.express as px


def async_wrap(func):
    @wraps(func)
    async def run(*args, loop=None, executor=None, **kwargs):
        if loop is None:
            loop = asyncio.get_event_loop()
        pfunc = partial(func, *args, **kwargs)
        return await loop.run_in_executor(executor, pfunc)

    return run


@async_wrap
def get_plot_bytes() -> bytes:
    now = datetime.datetime.now()
    data = {now.replace(day=now.day + i): random.randint(1, 10) for i in range(10)}
    fig = px.area(x=list(data.keys()), y=list(data.values()), title='Статистика покупок')
    fig.update_layout(xaxis_title="Дата", yaxis_title="Количество покупок")
    return fig.to_image('png')


async def main():
    await get_plot_bytes()


if __name__ == '__main__':
    asyncio.new_event_loop().run_until_complete(main())

[Влад Григорьев]

OCCASS OCCASSOVICH, будет и смысла заворачивать его корутину нет

[OCCASS OCCASSOVICH]

Влад Григорьев, я понимаю, что нужно такие в функции вызвавшись в thread pool-е, но как мы знаем asyncio.run_in_execotor по дефолту там вызывает, тогда почему будет блокировать?

[Влад Григорьев]

OCCASS OCCASSOVICH, тред пул тоже не поможет
ибо надо понимать как работает и существует конкурентность в питоне, на эту историю много хороших статей

[OCCASS OCCASSOVICH]

Влад Григорьев, вообще я понимаю как, возможно не правильно.
Я смотрел лекции Яндекса на ютубе, там прямо блок лекций про асинхронность.
Но вообще должна же быть возможность запуска блокирующей функции.
Или единственный вариант, это асинхронная библиотека для создания графиков

[Влад Григорьев]

OCCASS OCCASSOVICH, книги надо читать
любое строительство графиков это синхронный процесс, который логично что блокируют цикл и не дает переключится на любую другую задачу
так же вполне логично что строить графики это на io-операция, а значит и параллелить её асинхронным кодом бессмысленно
для это существуют мультипроцесорный решения

[OCCASS OCCASSOVICH]

Влад Григорьев, Книги читаю, но про асинхронность пока не читал, кстати, какую посоветуете, лучше с примерами на python.
Про мою проблему, мультипроцессорность конечно хорошо, но при 1000 пользователях не очень.
Пока писал этот ответ, подумал что самым лучшим будет написать api для получения статистики и все уже в web-е рендерить, благо телега позволяет сделать это красиво

[Вадим]

OCCASS OCCASSOVICH, на самом деле асинхронность порядочно изменилась в последних версиях питона. Не нашел ни одного видео, где бы это хорошо обьяснялось... более менее здесь, Async Techniques and Examples in Python - можешь с*качать, но он чуть устарел. Сам в своей программе использовал таски и собирал их.

Так что книг в принципе про асинхронность в питоне почти нет - разве что Advanced Python Development Using Powerful Language Features in Real-World Applications. Других не нашел.

[OCCASS OCCASSOVICH]

Вадим, Спасибо за ответ, обязательно гляну

Answer 1

[Vindicar]

Проблема в том, что в Питоне потоки немножко увечные (ключевое слово GIL), а потому реально работают только в двух случаях:
1. Исполняемый длительный код написан не на питоне, а принадлежит одному из бинарных модулей
2. Исполняемый код большую часть времени ждёт (например, операции ввода/вывода).
В случае с многопроцессностью проблем меньше, но появляетя проблема обмена данными между процессами.

Я бы запустил несколько процессов воркеров, которые умеют рендерить предоставленные данные и возвращать график как массив байт, содержащий изображение. Тогда основной бот кидает задание в некую очередь, один из воркеров просыпается, рендерит задание, и кладёт ответ в другую очередь. Словом, паттерн поставщик-потребитель. Конечно, могут быть проблемы с тем, чтобы подружить multiprocessing.Queue с асинхронным кодом, но имхо так всё равно изящнее.
Более того, если искомые данные лежат в БД или ином внешнем источнике - можно нагрузить воркеров их извлечением. Тогда задание будет содержать в себе только критерии выборки данных.

Comments

[OCCASS OCCASSOVICH]

Большое спасибо за такой развёрнутый ответ, когда я напишу это, я могу спросить правильно ли все?

[OCCASS OCCASSOVICH]

Ещё вы в комментариях сказали про книги про асинхронность, можете посоветовать такую для python

[Vindicar]

OCCASS OCCASSOVICH, вот тут сложнее, я сам учился по сборной солянке материалов. И в комментах к этому вопросу я ничего не писал.

[OCCASS OCCASSOVICH]

Vindicar, понял, я ошибся) потому что я смотрел курсы от Яндекса, там видосов 5 про асинхронность, но мне там сказали книги читать

[OCCASS OCCASSOVICH]

Я люблю читать, и читаю, но как говорится критикуешь, предлагай (это не вам ;) )

[OCCASS OCCASSOVICH]

Vindicar, и что скажете по поводу помощи по написанному коду, по технологии которую вы предложили?
Буду благодарен

[Vindicar]

OCCASS OCCASSOVICH, мне есть, чем заняться. Будут конкретные проблемы по коду - пости код сюда отдельным вопросом, может, кто и ответит. Может я, если буду онлайн в это время.

[OCCASS OCCASSOVICH]

Vindicar, ок, спасибо большое за ответ