Как одним запросом получить из БД уникальные данные по каждому столбцу (Django ORM)?

Question

[vityaba3]

Мне нужно получить УНИКАЛЬНЫЕ данные из КАЖДОГО столбца
У меня есть список полей:
MY_FIELDS = ['id', 'created', 'И_еще_28']

Мой УЖАСНО НЕЭФФЕКТИВНЫЙ код, который дает правильный результат

qs = Sheets.objects.all()
v = []
v += [list(qs.values(v).distinct()) for v in MY_FIELDS]

Я получаю то, что мне нужно.... Но какой ценой? (28 запросов это больно)
Подскажите, как из этого сделать один запрос....
Вот так выдает неуникальные данные по КАЖДОМУ столбцу (пробовал)

qs = Sheets.objects.all().values(*MY_FIELDS).distinct()

Comments

[Everything_is_bad]

И_еще_28

намекает на проблемы с проектированием БД. Да и сама хотелка тоже странная.

[vityaba3]

Everything_is_bad, Может.... Там на самом деле все более-менее красиво, и в MY_FIELDS = [..., 'grades__grades_num', ...]
И другие штуки. (Код сильно упрощен)
У меня есть таблица на 20+ столбцов и мне нужно сделать фильтр к ней (вот получаю данные для фильтра)

P.S. Да и вообще это достаточно простая (и я думаю, частая) операция. Полезно знать....

[Everything_is_bad]

vityaba3, ну так надо в вопросе сразу указывать что именно ты хочешь делать, если я правильно понял, то фасетный поиск, в новой версии джанго вроде такое в админку добавили, можешь там решения глянуть, может там вообще не то, я еще не копал его подробно. А очень давно такое решал сторонними средством, sphinx, потому что еще и фуллтекст поиск на большом объеме.

[vityaba3]

Everything_is_bad, Да, не....

Задача - то простая.
Нужно одним запросом получить уникальные данные из каждого столбца.

Чтоб БД не ходила 20 раз по одной и той же таблице....

Answer 1

[ScriptKiddo]

result = None
for field in MY_FIELDS:
    query = Sheets.objects.all().annotate(
        field_name=Value(field),
        field_value=F(field),
    ).values(
        'field_name',
        'field_value'
    ).distinct()
    if result is None:
        result = query
    else:
        result = result.union(query, all=True)

print(result.values())

Через explain посмотрите, сканируется ли таблица по количеству запросов distinct?

Comments

[ScriptKiddo]

Если fullscan не устраивает - можете накинуть по индексу на нужные столбцы и воспользоваться этим способом получения уникальных значений

https://wiki.postgresql.org/wiki/Loose_indexscan

[vityaba3]

Я запомнил это решение, но выглядит сложно и я не понимаю, что происходит.
На SO Дали более простое (На мой взгляд) решение.

Answer 2

[vityaba3]

На SO @willeM_ Van Onsem дал такой ответ:

Your second approach does produce unique values, but these are unique combinations. So if there are 10 fields with each 5 values, that already can result in at most 510 results, so it scales dramatically.

But the good news is, we can solve this, by aggregating all columns into distinct lists. Indeed, with ArrayAgg [Django-doc]:

MY_FIELDS = ['id', 'created', 'And_more_28']

from django.contrib.postgres.aggregates import ArrayAgg

qs = Sheets.objects.aggregate(
    **{'values_{f}': ArrayAgg('f', distinct=True) for f in MY_FIELDS}
)
v = [qs[f'values_{f}'] for f in MY_FIELDS]

This will produce lists of distinct values for each column, and all in one single query.

Все еще не понятно, но выглядит проще....