Как оптимизировать запрос?

Question

[Astrohas]

Итак модели

class Modal(models.Model):
    slug = models.SlugField(max_length=255, blank=True)

class ModalItem(models.Model):
    of = models.ForeignKey(Modal, related_name="items")
    to = models.ForeignKey(Modal, related_name="lasts", blank=True, null=True)
    is_product = models.BooleanField(verbose_name="Is product", default=False)

а также функция

active_modal = get_object_or_404(Modal, slug="connect-modal")
all_modals = list()
all_modals.append(active_modal)

def get_referenced(modal):
        for item in modal.items.all():
            if not item.is_product and item.to is not None:
                all_modals.append(item.to)
                get_referenced(item.to)
 get_referenced(active_modal)

Кроме этого внутри шаблона для каждого модалf идет цикл

{% for modal in modals %}
  {% for item in modal.modalitem_set.all %}

------
Проблема в том что это все генерирует 1400 запросов к базе данных (хотя величины таблиц не превышают и 100). Есть ли способ как-то это оптимизировать?

Comments

[sim3x]

Убрать рекурсию - тогда все станет проще

[Astrohas]

sim3x: элементы этих связанны графом, без рекурсии никак не получиться выбрать связанные модалки

[Сергей Горностаев]

Хасан Истамкулов:

[sim3x]

Хасан Истамкулов:

Убрать дерево
Делать периодический обход дерева и кешировать результат

[Astrohas]

sim3x: скешировал mokey_patching-ом

Answer 1

[Astrohas]

Пока функцию оптимизировал так

active_modal = get_object_or_404(Modal, slug="connect-modal")
    all_modals = list()
    all_modals.append(active_modal.id)

    def get_referenced(modal):
        for item in modal.items.all():
            if not item.is_product and item.to_id is not None:
                all_modals.append(item.to_id)
                get_referenced(item.to)


    get_referenced(active_modal)
    modals = Modal.objects.filter(pk__in=all_modals)
    print(all_modals)

Результат -> 768 запросов (вдвое меньше). Подумываю над оптимизацией шаблона
UPD 2) Кеширование объектов. Сделал выборку данных одним запросом, потом, питоном все monkey_patching-ом заполнил

for modal in modals:
        modal.items_cached = [item for item in items if item.of_id == modal.id]

Т.е вместо modal.items.all стало modals.items_cached
62 запросов
UPD 3) вместо все фигни сделал так

active_modal = get_object_or_404(Modal, slug="connect-modal")

    modals_ids = list()
    modals_ids.append(active_modal.id)

    all_modals = list(Modal.objects.all())
    all_modals.append(active_modal)

    items = ModalItem.objects.all()
    for modal in all_modals:
        modal.items_cached = [item for item in items if item.of_id == modal.id]

    def get_referenced(modal):

        for item in modal.items_cached:
            if not item.is_product and item.to_id is not None:
                modals_ids.append(item.to_id)

                for modal in all_modals:

                    if modal.id == item.to_id:
                        get_referenced(modal)
                        break

    get_referenced(active_modal)

    modals = [modal for modal in all_modals if modal.id in modals_ids]

3 запроса

Comments

[Astrohas]

Pavel Denisov: select_related в данном случае генерировал схожее количество запросов

[Astrohas]

Pavel Denisov: хм возможно вы правы

Answer 2

[Александр Кузнецов]

Вам нужно посмотреть в сторону Eager Loading или пересмотреть в целом получение нужных данных

Answer 3

[Сергей Горностаев]

Не используете django-mptt для работы с иерархическими данными.

Comments

[Astrohas]

нет, тут нет mptt, тут граф из Modal связь которых шла через ModalItem.