Как избавитсья от лишних запросов в Django?

Question

[Rrooom]

В Django использую raw-запрос, довольно прямолинейно:
object_list = MyModel.objects.raw(...)

С этим появляется две проблемы.
Первая - еще во вьюхе считаются агрегированные данные в цикле:

for each in object_list:
    total[...] += each.x
    total[...] += each.x

Ну а затем, еще раз, по данным пробегаются в цикле уже в шаблоне. И джанго почему-то не кэширует результат - а выполняется запрос еще раз.

Вторая проблема. В шаблоне, при выводе результатов джанго автоматически обращается к другой модели, связанной ForeignKey. Причем, для каждого объекта он выполняет запрос - сотни запросов, тупо для того, что бы забрать имя категории!

Как с этим бороться?

Comments

[Денис Егоров]

Какой именно запрос выполняется ещё раз? Что у вас в raw(). И вообще, опишите более конкретно. Категории можно подцепить с помощью prefetch_related (или select_related, в зависимости отситуации)

[Rrooom]

@ur001: Вы вероятно не в теме. Расслабьтесь.

[Денис Егоров]

@Rrooom: не в теме скорее всего вы. Если вам не нужен ответ на вопрос, могу расслабиться :)

[Rrooom]

@ur001: Ну что меняет, какой запрос внутри? Раз уж выполняется из контекста менеджера, значит это в любом случае дополнительные данные, джойнящиеся к данным самой модели. Очевидно?
Категории нельзя "подцепить с помощью prefetch_related (или select_related". У вопроса контекст row-запросов, а у них такой возможности нет.

[Денис Егоров]

@Rrooom: ответил вам «ответом». Только новый тостер странно подглючивает и отображает его не на всех размерах экрана :)

Answer 1

[Денис Егоров]

Почти на всех больших проектах мне удавалось избегать использования .raw(), по этому я спросил вас, что там внутри. Почти наверняка есть обходные пути.

Для того, чтобы быть уверенным, что запрос не будет выполнен несколько раз, его можно сразу превратить в список:

object_list = list(MyModel.objects.raw(...))

Для выполнения prefetch_related в raw запросах обычно используют prefetch_related_objects, хотя эта функция в Django не документирована:

from django.db.models.query import prefetch_related_objects
object_list = list(MyModel.objects.raw(...))
prefetch_related_objects(raw_qs, ['fk_field', 'another_fk_field', ...])

Для изучения когда и какие запросы выполняются удобно пользоваться консолью debugsqlshell из django debug toolbar (которую вы скорее всего используете).

Answer 2

[Владимир Соколовский]

Или сами прикрутите сами кеширование, или смиритесь. Для Django это нормально.

Answer 3

[alternativshik]

По поводу последнего - prefetch_related вам поможет.
По поводу первого - в том же цикле просто сделайте другой лист с данными из данных object_list и джанга не будет делать запрос 2 раз.

Comments

[Rrooom]

Если бы это было так просто. Тостер глючит - отредактировать не могу. Вторая проблема происходит с вышеуказанным raw-запросом, я думал это очевидно. А у него никаких select_related нету