Как сделать group_by по определённому полю в Django 1.8?

Question

[Михаил]

Есть старый код на Django 1.6
В нём делается группировка результатов следующим образом:

>>> post_set = Active.objects.filter(rubrica__pk=1, type__pk=1).order_by('user', '-pub_date')
>>> post_set.query.group_by = ['user_id']
>>> str(post_set.query)
>>> 'SELECT `doska_active`.`id`, `doska_active`.`post_id` FROM `doska_active` WHERE (`doska_active`.`type_id` = 1  AND `doska_active`.`rubrica_id` = 1 ) GROUP BY (user_id) ORDER BY `doska_active`.`user_id` ASC, `doska_active`.`pub_date` DESC'

Но в Django 1.8 данный хак не работает.

>>> post_set = Active.objects.filter(rubrica__pk=1, type__pk=1).order_by('user', '-pub_date')
>>> post_set.query.group_by = ['user_id']
>>> str(post_set.query)
>>> 'SELECT `doska_active`.`id`, `doska_active`.`post_id` FROM `doska_active` WHERE (`doska_active`.`type_id` = 1 AND `doska_active`.`rubrica_id` = 1) GROUP BY `doska_active`.`id` ORDER BY `doska_active`.`user_id` ASC, `doska_active`.`pub_date` DESC'

Как можно сгруппировать результаты по нужному мне полю БД ?

Comments

[Alexander]

A annotate() не подходит?
https://docs.djangoproject.com/en/1.8/topics/db/ag...

[Михаил]

Syschel: Не, не помогает. Помогло бы .distinct('user'), но в MySQL NotImplementedError: DISTINCT ON fields is not supported by this database backend

[Alexander]

Михаил: Вам удалось найти решение? А то тот же вопрос возник, хотя и поле не ForeignKey(), а DateField().

Answer 1

[jsse]

Сейчас если есть агрегация добавляются в group_by все поля из select, хотя в коде описано что этот хак совместим, но неет.

Прийдется перекрывать стандартную функцию группировки:

_get_group_by = SQLCompiler.get_group_by
def custom_group_by(self, select, order_by):
    if self.query.group_by is True or not self.query.group_by:
        return _get_group_by(self, select, order_by)
    expressions = []
    if self.query.group_by is not True:
        for expr in self.query.group_by:
            if not hasattr(expr, 'as_sql'):
                expressions.append(self.query.resolve_ref(expr))
            else:
                expressions.append(expr)
    if len(expressions):
        having = self.query.having.get_group_by_cols()
        for expr in having:
            expressions.append(expr)
        result = []
        seen = set()
        expressions = self.collapse_group_by(expressions, having)
        for expr in expressions:
            sql, params = self.compile(expr)
            if (sql, tuple(params)) not in seen:
                result.append((sql, params))
                seen.add((sql, tuple(params)))
        if result:
            return seen
SQLCompiler.get_group_by = custom_group_by

# Потом использовать как обычно:
post_set = Active.objects.filter(rubrica__pk=1, type__pk=1).order_by('user', '-pub_date')
post_set.query.group_by = ['user_id']
print post_set.query

Как вариант расширить вложенным запросом, но это может сказаться на производительности.
что-то подобное:

users = Active.objects.values('user_id').distinct()
post_set = Active.objects.filter(rubrica__pk=1, type__pk=1, user__in=users)

будет один запрос, но появится вложенный select

Comments

[Михаил]

Мне нужно сгруппировать по пользователю и выбрать одну запись от каждого юзера. Предложенный вариант не сгруппирует результаты.

[jsse]

Обновил ответ

[Михаил]

Спасибо, твое решение помогло!

Answer 2

[Alexander]

Django 1.8.4

queryset.filter(**params).only('dates', 'type_date').select_related(*select_rel).order_by('-dates', '-create')
queryset.values('dates').annotate(count=Count('dates')).order_by() # Сбросил сортировку

Получаю запрос

SELECT `dates`, COUNT(`dates`) AS `count` 
FROM `gigdate_dateall` 
WHERE (`dates` IN (2015-08-31, 2015-09-01, 2015-09-02, 2015-09-03) AND `type_date` = 0) 
GROUP BY `dates` ORDER BY NULL

Если .order_by() не делаю пустым. то тянет из настроек модели или других вышестоящих над запросом сортировок

dates = models.DateField(_(u'Дата календаря'), blank=False)
...
class Meta:
    ordering = ['-dates', '-create']

И тогда группирует по двум полям.

SELECT `dates`, COUNT(`dates`) AS `count` 
FROM `gigdate_dateall` 
WHERE (`dates` IN (2015-08-31, 2015-09-01, 2015-09-02, 2015-09-03) AND `type_date` = 0) 
GROUP BY `dates`, `create` ORDER BY `dates` DESC, `create` DESC

Comments

[jsse]

Как это в данном случае решает задачу автора?

[Alexander]

jsse: Как можно сгруппировать результаты по нужному мне полю БД ?
>GROUP BY `dates`

[jsse]

Syschel: что GROUP BY `dates`?

[Alexander]

jsse: Групирует по "указаному" полю из БД, а не по ИД как по дефолту и не по всем что были в ORDER

[jsse]

Syschel: Так автор и просит показать в его примере group by по полю user_id. Не понимаю как твой код к этому лепится.

[Alexander]

jsse: А посмотреть и подумать?

[jsse]

Syschel: я бы не писал, если бы сначала не посмотрел и не подумал

[Alexander]

jsse: И что вам разжевать? То как использовать в данном случае .annotate(count=Count('user')) и .order_by()? :))

[jsse]

Syschel: показать пример как будет работать

[Alexander]

jsse: А выше SQL запросов не видно?
Ок, специально для вас отдельный скриншот awesomescreenshot.com/09559sjn4c

[jsse]

Syschel: при чем здесь твой sql запрос?

[jsse]

Syschel: мне кажется, твой код не решает задачу, на примере автора было бы наглядней

[Михаил]

Я уже рассматривал такой вариант. Данный код группирует результаты если в .values() и . annotate() одно и тоже поле. Но не работает в моём варианте. Мне надо сгруппировать пользователей и выбрать по одному `post`

Вариант с post_set.query.group_by = ['user_id'] отлично работает, не пойму, зачем они его выпилили...

[jsse]

Михаил: в чем суть этого варианта? Это же обычная выборка values()

[Alexander]

jsse: Это НЕ обычная выборка, это ГРУПИРОВКА по заданному полю

[Alexander]

Михаил: Ок, а если посмотреть как в исходниках старой версии, был реализован механизм .query.group_by и написать точно такой же "хак"?

[jsse]

Syschel: правильно, а если быть точным то по выбранному одному или нескольким полям, но как я и говорил это не решает задачу

[jsse]

Syschel: по сути, если присутствует агрегация, всегда будет группировка для тех полей, что находятся в select select_extra и в order и having, но группировки может не быть, если присутствует первичный ключ. Может я не прав, объясни в чем прелесть твоего решения, кроме как обычного выбора по values() где compiler просто сгруппирует по перечисленным полям т.к. нет первичного ключа?