Какие способы разгрузить БД на django?

Question

[Александр]

Есть модель, в ней
8 простых полей (int, char),
2 Forein key,
1 many to many
2 JSONField (по 100 ключей каждый)
Сейчас там 5000 записей и скорость получения сильно растет (1 объект - 0,15сек., в начале было 0,04). Есть идея вынести JSONField в отдельные модели, но иногда все равно придется мерджить . Есть какие-то еще варианты оптимизации?

Comments

[Сергей Горностаев]

Поддерживаю предыдущего оратора. Есть 100% уверенность, что проблема в JSON-полях?

[Александр]

Dr. Bacon, я писал конкретно про get запрос, MyModel.objects.get(custom_id=123)
Сергей Горностаев они сначала были пустые ({}), скорость упала после наполнения

[Сергей Горностаев]

Александр, и тем не менее я рекомендую посмотреть профиль выполнения. Если много времени уходит на обработку запроса базой, то смотреть, что это за запрос, почему он именно такой, какой по нему план выполнения и почему, а отталкиваясь от полученных данных уже браться за оптимизацию.

[Александр]

Dr. Bacon, Сергей Горностаев,
Вот такой запрос например, скорость его получения упала в 2 раза, после заполнения JSON-полей

SELECT "scrap_matchesfull"."id", 
       "scrap_matchesfull"."match_id", 
       "scrap_matchesfull"."status", 
       "scrap_matchesfull"."home_id", 
       "scrap_matchesfull"."away_id", 
       "scrap_matchesfull"."date", 
       "scrap_matchesfull"."season_id_id", 
       "scrap_matchesfull"."url_slug", 
       "scrap_matchesfull"."league_id", 
       "scrap_matchesfull"."result", 
       "scrap_matchesfull"."rating", 
       "scrap_matchesfull"."show", 
       "scrap_matchesfull"."stats", 
       "scrap_matchesfull"."pre_match", 
       "scrap_matchesfull"."last_update", 
       "scrap_matchesfull"."admin_str" 
  FROM "scrap_matchesfull" 
 WHERE "scrap_matchesfull"."match_id" = 11878507

[Александр]

Dr. Bacon, не знаю у кого лыжи не едут. Я уже и чистый запрос скинул, как раз из django debug toolbar
нет так нет

[Алексей Андреев]

Я был бы рад, что скорость растет(сначала я думал вы опечатались, но потом вы повторились.)
У вас не скорость растет, а время выполнения запроса растет...

[Александр]

Алексей Андреев, да действительно

[Алексей Черемисин]

Александр, А индекс по match_id создан?

[Александр]

Алексей Черемисин, Нет, добавил

class Meta:
        indexes = [models.Index(fields=['match_id']),]

Ничего не изменилось

[Алексей Черемисин]

Александр, а EXPLAIN что говорит?

[Александр]

Алексей Черемисин, для получения (.get()) объекта через match_id

Время
91,94278717041016 ms

QUERY PLAN
Index Scan using scrap_match_match_i_e8e4d4_idx on scrap_matchesfull (cost=0.28..8.30 rows=1 width=1046) (actual time=0.023..0.023 rows=1 loops=1)
Index Cond: (match_id = 11878509)
Planning Time: 0.728 ms
Execution Time: 0.097

[Алексей Черемисин]

Александр, Да вроде все у вас нормально с запросом. По b-tree индексу, как и положено. Похоже, проблема где-то в приложении.

[Алексей Черемисин]

Александр, Вот посмотрите здесь второй параграф - https://habr.com/ru/post/276973/

[Алексей Черемисин]

Александр, Единственное, что у вас с полями json, может быть после отдачи они как-то конвертируются в dict? Тогда да, на каждое json-поле еще нужно отпарсить в приложении, вот и вземя на это тратится. Старайтесь выбирать только те поля, которые используете, а не всю строку тащить из базы.

[Александр]

Алексей Черемисин, не в jsonfield?
может из-за десериализации в dict

[Алексей Черемисин]

Александр, сделайте отдельную таблицу один-к-одному и в ней держите ваши jsonfield. Когда нужно, отдельными (под)запросами будете доставать тяжелые данные.

[Алексей Черемисин]

Александр, я так понимаю, пользуетесь этим? - https://pypi.org/project/django-json-field/
Тогда да, у вас каждое jsonfield еще десеарилизуется. Но вроде бы по умолчанию они lazy, так что должны сами по подзапросам работать...

[Александр]

Алексей Черемисин, родной JSONField из джанги
Если исключить JSONField поля при получении объекта скорость снова падает до минимальной.
Буду исключать их просто

[Алексей Черемисин]

Александр,

Если исключить JSONField поля при получении объекта скорость снова падает до минимальной.

Это быстрее или медленне запрос выполняется?

[Александр]

Алексей Черемисин, Быстрее почти в 2 раза.

[Алексей Черемисин]

Александр, Вот и ответ!

Answer 1

[mayton2019]

Делаешь две БД. И пишешь в одну все записи удовлетворяющие HASHCODE(primaryKeys, 2) == 0
а во вторую БД HASHCODE(primaryKeys, 2) == 1. При запросах соотв. делаешь запрос в две БД и объединяешь результат.