Есть ли способы оптимизировать большую таблицу с разреженными данными?

select * 
from tasks_table tt
left join users_table as ut
  on ut.user_uid=tt.user_uid
left join user_groups_table as gt
  on gt.group_uid=ut.group_uid
where tt.responsible_id=? or
  exists (select 1
             from my_dumb_table as dt
             where dt.record_uid=tt.record_uid and
                        dt.group_uid=gt.group_uid and 
                        dt.dumb_text = 'some_dumb_text')

Только в оригинале джоины под экзистом.

Сколько весят символы я знаю, но разве mysql выделяет не по 2 байта на символ?

Есть ли способы оптимизировать большую таблицу с разреженными данными?

Лентюй, все 3 материализованных таблицы это как раз блок exists, джион по группам на самом деле там, запамятовал

Есть ли способы оптимизировать большую таблицу с разреженными данными?

Лентюй, разве?

План запроса показать могу, но только без имен таблиц и индексов.
тынц

Есть ли способы оптимизировать большую таблицу с разреженными данными?

xmoonlight, limit 1 это через подзапрос? будет еще хуже. Exists это и есть аналог limit 1, условно говоря. Все эти варианты я уже рассматривал, как бы я ни старался - выигрыш незначительный. Этот запрос вообще шевелится только потому, что его limit 21 останавливает в большинстве случаев, если это не происходит то привет время выполнения от 8 до 60 секунд (в лучшем случае).

Должен ли одинаковый запрос выполнятся с разным временем?

revukvr, с индексами бедааа, причем по всем таблицам.

Есть ли способы оптимизировать большую таблицу с разреженными данными?

xmoonlight, пробовал, ,будет еще хуже, поскольку в таблице связей есть дубли. Я думаю что проблема в очень большой длине ключа, а так же в том что мы заставляем mysql пересмотреть 13000*600 строк.

Это все бы переписать к чертовой матери естественно, но поскольку такой опции просто нет на данный момент, я прикидываю чем можно помочь пациенту. В том же PostgreSQL я бы уже конвертнул все строки в uuid, 64 символьное поле в enum, построил бы частичные индексы и полегчало бы существенно. Работа с binary(16) в mysql потребует переписывать все запросы

Есть ли способы оптимизировать большую таблицу с разреженными данными?

На самом деле там условие чуть более сложное но смысл именно такой.
Explain скажет 13к строк под общую выборку, по 1 строке в каждом джоине, 600 строк в materialized подзапросе с длиной ключа в 127

Есть ли способы оптимизировать большую таблицу с разреженными данными?

1. А индексы есть
2. Нету там никаких подстрок

select * 
from tasks_table tt
left join users_table as ut
  on ut.user_uid=tt.user_uid
left join user_groups_table as gt
  on gt.group_uid=ut.group_uid
where tt.responsible_id=? or
  exists (select 1
             from my_dumb_table as dt
             where dt.record_uid=tt.record_uid and
                        dt.group_uid=gt.group_uid and 
                        dt.dumb_text = 'some_dumb_text')

Примерно так

Есть ли способы оптимизировать большую таблицу с разреженными данными?

Иван Мельников, уж поверьте я в курсе, 16 байт на каждом из трех полей плюс 63 байта на четвертом (меняем на enum), но писал сей ужас не я)

Да, работает очень долго, на некоторых конфигурациях - кошмарно долго.

ЗЫ кстати в utf8 базе разве 32 байта на char(32)?

Должен ли одинаковый запрос выполнятся с разным временем?

revukvr, покажите explain analyze - подскажу.

Кстати по запросу не совсем то, что вы говорите вижу. У вас маршрут создается на каждый день? Потому как в выборке вы берете последние координаты по маршруту, в то время как верхний запрос пытается ограничить выборку конкретным днем.

ЗЫ Вы часто пишете координаты? Под такие данные по хорошему надо колоночную бд, ту же TimescaleDB.

Есть ли способы оптимизировать большую таблицу с разреженными данными?

Иван Мельников, UID, 16битный идентификатор. Не совсем я, я то сам в ужасе.

Есть ли способ подружить win/linux smb ссылки?

Ezhyg, Если бы я знал ответ я бы не спрашивал тут.

Есть ли способ подружить win/linux smb ссылки?

rPman, http ссылки открываются броузером. Соответственно вы предлагаете скачивать файлы вместо прозрачной работы с ними?

Есть ли способ подружить win/linux smb ссылки?

Ezhyg, винда исправит? О_О
Вот буквально только что скормил проводнику путь вида smb://192.168.0.12/public черта с два оно взлетело

Какая разница как диски подключены?) Я на убунте вы на винде, вы мне кидаете smb://очень/длинный/путь/к/фай.лу. Как мне по нему перейти?)

Есть ли способ подружить win/linux smb ссылки?

Ezhyg Владимир @, они самые. Беда в том что на линухе это smb:///server-name/foldername/file.name или /mounted_drive/foldername/file.name

а на винде это \server-name\foldername\file.name

И есть потребность постоянно копировать пути (для таск-трекера).

webdav конечно интересная но тогда вместо прозрачной работы с файтами прямо на шарах получим скачивание этих самых файлов. Или я ошибаюсь?

Перевести оставшиеся машины на линух не вариант, корел и адобовский пакет этому не способствуют.
Перевести все машины на вин еще более не вариант. Машины слабые и антивируса не переживут. Да и не поможет он при том милом зоопарке что постоянно нам попадается.

Рекурсивная загрузка дерева с вспомогательной таблицей, по ID, как?

но есть и другие..

например?)
сделайте первичный ключ по полям parent_id, child_id и все

Ибо при запросе по айди

Ну дак еще один запрос на этот раз вверх) Я просто не встречал потребности дерево вверх и вниз просматривать, лень было писать.

Big прайсы, обновлять или удалять и заново записывать?

Melkij, а еще поменять местами update+insert и начать использовать prepared запросы

Big прайсы, обновлять или удалять и заново записывать?

Можно сильно ускорить если убрать WAL с диска с данными

В чем нюанс php скрипта?

Я конечно дико извиняюсь, но хотел бы напомнить, что в аду есть специальный котел для тех кто именует переменные подобным образом.

Найти каждый второй(третий) элемент в Angular?

Ну наверное flexbox можно помучать, а вообще имхо адаптив в финансовых приложениях - такая себе идея.