Как оптимизировать выполнение тяжелых запросов?

Question

[beduin01]

Интересует не само исправление запроса и его доработка, а ситуация когда с БД нужно собирать некоторую статистику и при этом сделать так, чтобы система не сильно тормозила.
Можно ли сделать так, чтобы запрос выполнялся дольше, но меньше загружал CPU -- может есть какие-то способы понизить приоритетность выполнения?

Есть ли встроенные механизмы кэшированая, которым можно сказать, что для запроса Х нужно отдавать данные из кэша при вызове его чаще чем N минут\часов?

CPU 6 ядер.

Comments

[Akina]

ситуация когда с БД нужно собирать некоторую статистику и при этом сделать так, чтобы система не сильно тормозила.

Если статистика типовая, то можно пойти на переопределение данных и хранить предрасчётные значения (например, получаемые триггерами или запланированными процедурами) в дополнительных таблицах.

[beduin01]

Akina, ну просто из 5 таблиц нужно значения вытаскивать, чтобы потом их отдавать через микросервис в мобильное приложение

[Akina]

Простое "вытаскивание значений" ну никак не похоже на высоконагружающий расчёт статистики. Думаю, всё же есть смысл раскрыть хоть какие-то детали процесса.

[beduin01]

Akina, идея в том, что мне нужно смотреть сколько файлов обработано и с каким статусом. Выборка очень большая. Count считает все минуты. Данные хочу выводить в мобильном приложении и нужно придумать что туда выводить чтобы не слишком часто базу count-ом нагружать

[Akina]

мне нужно смотреть сколько файлов обработано и с каким статусом.

В таком случае триггерный предрасчёт - самое то. Ну и само собой- сервисная процедура контроля предрасчётных данных.

Answer 1

[Melkij]

Можно ли сделать так, чтобы запрос выполнялся дольше, но меньше загружал CPU -- может есть какие-то способы понизить приоритетность выполнения?

Обычный nice. Процессная же модель, никаких проблем понизить приоритет конкретного процесса средствами самой ОС.

Есть ли встроенные механизмы кэшированая, которым можно сказать, что для запроса Х нужно отдавать данные из кэша при вызове его чаще чем N минут\часов?

Нет, кеша запросов нет. И не будет.

ситуация когда с БД нужно собирать некоторую статистику и при этом сделать так, чтобы система не сильно тормозила

Не смешивать OLAP и OLTP вообще. Если база важная, то у неё будет hot standby. Там статистику и считать.

Answer 2

[tormozillo]

Изучать параметры max_parallel_workers, max_parallel_workers_per_gather
CPU ведь не одноядерный?

Comments

[beduin01]

Для 6 ядер какое эффективное значение у max_parallel_workers_per_gather?

[Akina]

beduin01, эффективное значение определяется вовсе даже не количеством процессоров. См. напр. https://postgrespro.ru/docs/postgrespro/12/paralle...