Как оптимизировать запрос Django?

Question

[O_godo]

Добрый день! Есть следующие модели:

class Product(CreationModificationDateMixin, MetaTagsMixin, ImageThumbnailMixin):
  ...
  brand = models.ForeignKey(
    Brand,
    null=True,
    blank=True,
    related_name='products',
    verbose_name='Производитель',
    on_delete=models.SET_NULL
  )

  material = models.ForeignKey(
    Material,
    verbose_name='Материал',
    blank=True,
    null=True,
    related_name='products',
    on_delete=models.SET_NULL
  )

class Material(models.Model):
  name = models.CharField(
    'Название',
    max_length=100
  )

class Brand(CreationModificationDateMixin, MetaTagsMixin):
  country = models.ForeignKey(
    Country,
    blank=True,
    null=True,
    verbose_name='Страна производителя',
    related_name='brands',
    on_delete=models.SET_NULL
  )

  name = models.CharField(
    'Название бренда',
    max_length=100,
  )

class Country(models.Model):
  name = models.CharField(
    'Название',
    max_length=200
  )

Задание: вывести странны, потом в странах вывести бренды группирируемые по материалам. Пример ниже:


Сделать то я сделал, но прошелся профайлером и вполне ожидаемо получил кучу однотипных запросов. Делал так:

countries = Country.objects.all()
    materials = Material.objects.all()
    country_materials = []

    for country in countries:
        dc = {'country': country, 'materials': []}

        for material in materials:
            brands = Brand.objects.filter(
                products__material=material, country=country).distinct()

            if brands.exists():
                dc['materials'].append({'material': material, 'brands': brands})

        if dc['materials']:
            country_materials.append(dc)

    return {
        'menu': menu,
        'country_materials': country_materials
    }

Проблема еще в том, что меню такое выводится на всех страницах.

Пробовал достучаться через prefetch_related, но не вышло: пробовал так ```Brand.objects.prefetch_related('products__material')``` но получаю товары, а надо как я понимаю, чтоб материалы. Как можно оптимизировать или изменить подход к построению запроса, чтоб в базу не ходили куча запросов?

Answer 1

[Roman K]

Просто убери циклы и сделай один запрос:

brands = Brand.objects.filter(
    products__material__in=materials, 
    country__in=countries
).distinct()

Comments

[O_godo]

ок, я получу все бренда, а как мне потом их отсортировать сначала по странам, а потом по материалам?

[Roman K]

O_godo, в чём проблема это сделать в питоне?

[O_godo]

Roman Kitaev, так расскажите где я возьму оттуда бренд и категорию? отфильтрует по брендам и категориям но не сохранит их

[Roman K]

O_godo, prefetch_related

[O_godo]

Roman Kitaev, Пробовал, но не вышло

Brand.objects.prefetch_related('products__material')

Такой запрос не грузит материалы, а товары, что мне не нужно, мне бы чтоб у бренда были материалы и страны, но так просто это не прокатило

Answer 2

[Игорь]

я после пары месяцев подобных мучений переписал все запросы на raw sql без использования джанговского orm, там где нужно выводить много связанных данных он генерит адовое количество селектов (да еще и с опцией no_cache) и очень сильно тормозит

Comments

[Roman K]

Ты просто не умеешь его готовить

[Игорь]

Roman Kitaev, возможно, я делитант в мире джанго (хотя когда я консультировался с более професиональными господами работающими с ним, они ничего кроме пагинации предложить не смогли)
также можно писать адские конструкции с к кастомизации сложных запросов и приводить их к интерфейсу орм чтобы сделать "стиле джанго" ради внешнего вида кода мне показалось както черезчур