Блокирует ли процесс построения индексов таблицу?

galaxy, а разве update будет транзакционной операцией? И или вся таблица или ничего? Можно ли его поведение сделать не транзакционным?

Блокирует ли процесс построения индексов таблицу?

Проверил статус работы в pg activity. Пишет что запрос в статусе active.
Сделал count по выполненным данным, через 5 минут снова -- результат не изменился. Такое чувство ничего не происходит. Перестартовал postgres. Из консоли снова выполнил:

UPDATE "xml_files" set action_type = 'data_insert' where action_type is null;

Все тормозит, процессор загружен, но count опять возвращает одни и те же значения как если бы
where action_type is null был тот же самый и ничего не заапдейтилось

Блокирует ли процесс построения индексов таблицу?

Проверил статус работы в pg activity. Пишет что запрос в статусе active.
Сделал count по выполненным данным, через 5 минут снова -- результат не изменился. Такое чувство ничего не происходит. Перестартовал postgres. Из консоли снова выполнил:

UPDATE "xml_files" set action_type = 'data_insert' where action_type is null;

Все тормозит, процессор загружен, но count опять возвращает одни и те же значения как если бы
where action_type is null был тот же самый и ничего не заапдейтилось

Блокирует ли процесс построения индексов таблицу?

Кстати, а какие индексы быстрее строятся? btree или hash? И умеют ли они параллелиться? Или только на одном ядре

Как оптимизировать выполнение тяжелых запросов?

Akina, идея в том, что мне нужно смотреть сколько файлов обработано и с каким статусом. Выборка очень большая. Count считает все минуты. Данные хочу выводить в мобильном приложении и нужно придумать что туда выводить чтобы не слишком часто базу count-ом нагружать

Как оптимизировать выполнение тяжелых запросов?

Akina, ну просто из 5 таблиц нужно значения вытаскивать, чтобы потом их отдавать через микросервис в мобильное приложение

Как оптимизировать выполнение тяжелых запросов?

Для 6 ядер какое эффективное значение у max_parallel_workers_per_gather?

Почему SQL запрос выполняется с разной скоростью?

galaxy, оказалось что это баг драйвера postgrsql для dart. Очень удивлен. Не думал что в этом причина. В любом случае большое спасибо за все советы.

Почему SQL запрос выполняется с разной скоростью?

galaxy, дал ему постоять ночь. До сих пор тупит. Я просто ума не приложу как http сервер своим коннектом к БД все может портить. Сейчас грохну его и все норм станет.

Почему SQL запрос выполняется с разной скоростью?

galaxy, да, именно в этот момент у меня он выполняется полторы минуты против 5 секунд. Если сейчас грохну сервис который по факту только соединение видимо держит (данные не вставляет никакие) то скорость запроса снова станет нужной - 5 секунд. Если после перезапуска COUNT сделаю то тоже все будет быстро, пока не пройдет несколько часов и ситуация не повторится.

Почему SQL запрос выполняется с разной скоростью?

select pg_blocking_pids(pid) as blocked_by
from pg_stat_activity
where cardinality(pg_blocking_pids(pid)) > 0;

Не дает никакого результата

Почему SQL запрос выполняется с разной скоростью?

galaxy, дождался нового зависания

https://freeimage.host/i/oY2wGt

Тут есть что-то подозрительное?
Вижу только один COUNT запрос (не тот который выполнял, а более простой который когда-то проверял) и UPDATE:

UPDATE "xml_files" SET "processed_date" = '2021-07-14 20:54', "parsing_status" = 'success', "insert_status" = 'success' WHERE "id" = '24604928'

Почему SQL запрос выполняется с разной скоростью?

galaxy, так самое интересное в том, что я не могу понять как зависающий сервис может тормозить запрос. Картинка следующая. В сервис прилетают INSERT и UPDATE запросы (не тяжелые) в виде текста (не prepared) и я их выполняю. Некоторые если INSERT падает с ошибкой, то я вызываю DELETE для указанных данных и повторяю вставку.

Каждые 30 минут выполняется COUNT запрос. И он отрабатывает нормально до какого-то момента пока не начинает так сильно тормозить.

Грохаю висящий микросервис -- время исполнение снова падает.

У меня просто реально даже мыслей нет как такое может происходить.

Кстати, ваш запрос выполняется чуть дольше моего. На невисячей базе 5.2 секунды против (в среднем) моего 4.9 секунды.

Может у вас есть идеи по первой части вопроса. Я реально даже не знаю в какую сторону думать. Транзакции что ли как-то заглючивают?

Почему SQL запрос выполняется с разной скоростью?

Спасибо большое, но вот с кешем не совсем понятно. Бывают моменты когда я запрос могу неопределенное количество раз выполнять и он выполняется медленно. Один и тот же. ничего не кешируется.

Закономерности не увидел. Один раз попробовал свой сервис грохнуть висящий на запросе. Или так совпало или почему-то запрос снова стал за 5 секунд выполняться. Но сам по себе сервис ничего не делает кроме как этот же запрос выполняет.

Сам сервис кроме получения COUNT еще INSERT делает, но он на Count зависает и не понятно может ли каким-то образом INSERT где-то подвиснуть и на это повлиять.

Причем работать может 2-3 часа нормально.

Почему SQL запрос выполняется с разной скоростью?

Developer, места с запасом. План запроса. Вот как раз нашел очередной момент когда тормозит:
https://imgur.com/NwV3EAy
После этого несколько раз попробовал выполнить запрос с EXPLAIN и без -- выполняется по минуте вместо 5 секунд

https://i.stack.imgur.com/A8G7F.png

Почему SQL запрос выполняется с разной скоростью?

Илья, дополнил вопрос

На сколько следующий код подходит для тяжелых операций с БД?

Василий Банников, да так и есть, я в теле передаю запросы. Но у меня сервер изолированный и опасности инъекций нет. Запросы только от специальной софтины принимаются.

На сколько следующий код подходит для тяжелых операций с БД?

Василий Банников, предлагаете отдельный хэндлер сделать куда посылать потенциально долгие запросы?

На сколько следующий код подходит для тяжелых операций с БД?

Виталий Качан, я сделал иначе. если при вставке упало, значит кидаю исключение и в нем выполняю операцию удаления дубликатов и повторную вставку. Т.к. ситуация очень редкая, но возможная, пока мне кажется не плохим вариантом.

На сколько следующий код подходит для тяжелых операций с БД?

Владимир Коротенко, Каждый генератор XML2SQL берет свой джоб. 4 потока по т.к. на процессоре 6 ядер.
Пакетную вставку не могу т.к. мне тогда нужно где-то аккумулировать все прилетевшие данные. И нужно логику по его хранению писать и потенциально 1 на 10000 записей может иметь дубликат, тогда у меня операция пакетной вставки упадет. А если пофайлово обрабатывать, то если вдруг что не так, то я четко знаю где проблема