Как снизить нагрузку на процессор при обращении к БД?

Question

[Tayrus0]

Есть бот, он запускает по 10 тасков (выполняется парсинг страниц) через asynаcio на 1 пользователя, в каждом 1 таске выполняется обращение к БД 4-5 раз, это очень сильно нагружает процессор и бот начинает тормозить, как можно снизить нагрузку на процессор ?

UPD На моем сервере много ядер, но почему то используются не все


Соединение создаю с помощью asyncpg.create_pool()

Все обращения к БД делаю через

async with self.pool.acquire() as con:
            await con.execute(sql)

Comments

[invilso]

Как вариант, выполнять обращение к бд 1 раз.

[Tayrus0]

invilso, Не получится так сделать

[d'Ivan]

Tayrus0,
Просто интересно, ради чего прекрасного вы сжигаете такое количество электроэнергии впустую (глядя на количество ядер)? Надеюсь, не ради одного скромного бота?

выполняется обращение к БД 4-5 раз

А какие запросы там? Может, необходимые индексы отсутствуют?

Answer 1

[FOUREX]

Сделай таски на отдельном потоке используя библиотеку Threading
https://docs.python.org/3/library/threading.html

Answer 2

[ky0]

Если нагрузка на базу начинает тормозить остальное - видимо (при условии, что база нормально настроена, задействован пул коннектов, запросы оптимизированы и т. д.) пришёл час разносить их по разным контейнерам/виртуалкам.

Comments

[Tayrus0]

Я использую asyncpg как пулер, запросы максимально простые, базу оптимизировал с помощью сайта https://pgtune.leopard.in.ua/#/

[ky0]

Tayrus0, если памяти базе хватает, диски достаточно быстрые - значит всё, что я сказал относительно разнесения приложения и базы, справедливо.

[d'Ivan]

ky0, нужно профилировать приложение, перед тем как приходить к таким заключениям, ИМХО.