Как отсортировать записи модели данных на основе данных других связанных моделей?

Question

[nurzhannogerbek]

Здравствуйте! Помогите пожалуйста разобраться.

Есть модель данных Project (Проект). У каждого проекта есть скажем так разделы. Если быть точнее то модели данных (Сharacterictic, Task) связанные с проектом. Пользователи могут оставлять комментарии к объектам/записям модель данных Сharacterictic, Task. Информация о комментариях хранится в модели Сomment.

Необходимо отсортировать (order_by) список проектов, чтобы первым стояли те проекты в разделах которых последним оставили комментарий.

Например был оставлен комментарий к Task-у, который принадлежит проекту A. Затем через некоторое время был оставлен комментарий к Сharacterictic-ке, который принадлежит к проекту Б. Получается при сортировки нужно поставить Проект Б первым, а проект А после него.

models.py:

class Project(models.Model):
    name = models.CharField(_('Name'), max_length=250)
    create_time = models.DateTimeField(auto_now_add=True)  # Дата создания записи
    revision_date = models.DateTimeField(_('Date of last update'), auto_now=True) # Дата последнего обновления записи

class Characteristic(models.Model):
    project = models.ForeignKey(Project, on_delete=models.CASCADE)
    description = models.TextField(_('Description'))
    comments = models.ManyToManyField("Comment")
    create_time = models.DateTimeField(auto_now_add=True)
    revision_date = models.DateTimeField(_('Date of last update'), auto_now=True)

class Task(models.Model):
    project = models.ForeignKey(Project, on_delete=models.CASCADE)
    description = models.TextField(_('Description'))
    comments = models.ManyToManyField("Comment")
    create_time = models.DateTimeField(auto_now_add=True)
    revision_date = models.DateTimeField(_('Date of last update'), auto_now=True)

class Comment(models.Model):
    author = models.ForeignKey(User, on_delete=models.CASCADE)
    text = models.TextField()
    created = models.DateTimeField(auto_now_add=True)

Comments

[Евгений]

Удалил свой ответ, так как он некорректный, а корректное решение в данный момент предложить не могу - слишком много времени требуется для ответа.

[un1t]

Пользователи могут оставлять комментарии к объектам/записям модель данных Сharacterictic,

В модели Comment не хватает ForeignKey на Characteristic.

[nurzhannogerbek]

un1t: Здравствуйте! В модели Сharacterictic есть полеcomments = models.ManyToManyField("Comment"). Использования именно такого подхода к хранению комментариев с использованием ManyToManyField, обусловлено потребностями другой задачи, которую он решает. Есть ли у вас другие идеи по данному вопросу?)

[nurzhannogerbek]

Евгений: Понятно. Понимаю вас. Если будет время для более детального изучения моего вопроса пожалуйста взгляните. =)

[Евгений]

Как вариант, можно при создании/изменении комментария через сигналы или метод save обновлять timestamp в Project. Это смахивает на костыль, но не такой уж страшный костыль.

Думаю, что задача решается и через ORM, но это отнимет у меня слишком много времени, которого сегодня нет.

[un1t]

Напиши просто на sql.
Мне лень писать полный запрос, но направление подскажу.

Тут два варианта
1. Просто подзапрос.
2. В два запроса. Сначала выбираешь комменты max(comment.create_time) max_time group by project_id order by max_time. Да я понимаю что в таблице comment нет project_id, ну просто делаешь сначала джойн. Вторым запрсом выбираешь сами проекты.

Answer 1

[Anatoly Scherbakov]

Не уверен, как сделать это через ORM, надо экспериментировать. Если кто-то предложит, будет интересно посмотреть. Если никто не предложит, то я бы сделал так.

class Characteristic(models.Model):
    project = models.ForeignKey(Project, on_delete=models.CASCADE, related_name='characteristics')
    ...

class Task(models.Model):
    project = models.ForeignKey(Project, on_delete=models.CASCADE, related_name='tasks')
    ...

...

import operator

latest_comments_by_category = Project.objects.values_list('id').annotate(
    Max('characteristics__comments__created'),
    Max('tasks__comments__created'),
)

latest_comments = [
    (project_id, max(characteristic_time, task_time))
    for project_id, characteristic_time, task_time in latest_comments_by_category
]

projects = [
    Projects.objects.get(id=project_id)
    for project_id, _ in sorted(latest_comments, key=operator.itemgetter(1), reverse=True)
]

Конечно, это допустимо лишь, если проектов не слишком много.
P. S. Скорее всего это какой-то блок статистики. Его можно кэшировать для ускорения страницы.

Comments

[nurzhannogerbek]

Здравствуйте! Да, вы правы. У меня есть страница где вывожу статистику и стоит задача, которую описал в посте.

Можете пояснить куда нужно помещать данный код? Во view я так понимаю. Можете вкратце пояснить ваш код и почему данный код лучше использовать если проектов немного. Много и мало понятия растяжимые, поэтому данный ваш комментарий смутил))) Ваши опасения я прекрасно понимаю. Если много проектов, на итерации будут уходить много времени. На текущий момент проектов немного (10-15), но если глядеть в будущее то их может быть и много.

Насколько я понял latest_comments_by_category хранит время последнего комментария по раздели так скажем. А latest_comments уже сравнивает то время, полученное ранее между собой и получаем список отсортированного времени комментариев. Далее в projects получаем список отсортированных проектов по списку latest_comments. Я правильно все понял?

[nurzhannogerbek]

Протестировал ваш код. Выдает следующую ошибку в коде latest_comments. Подскажите пожалуйста, что не так?

ERROR:

Traceback (most recent call last):
  File "C:\Users\Nurzhan\AppData\Local\Programs\Python\Python35\lib\site-packages\django\core\handlers\exception.py", line 39, in inner
    response = get_response(request)
  File "C:\Users\Nurzhan\AppData\Local\Programs\Python\Python35\lib\site-packages\django\core\handlers\base.py", line 187, in _get_response
    response = self.process_exception_by_middleware(e, request)
  File "C:\Users\Nurzhan\AppData\Local\Programs\Python\Python35\lib\site-packages\django\core\handlers\base.py", line 185, in _get_response
    response = wrapped_callback(request, *callback_args, **callback_kwargs)
  File "C:\Users\Nurzhan\AppData\Local\Programs\Python\Python35\lib\site-packages\el_pagination\decorators.py", line 88, in decorated
    return view(request, *args, **kwargs)
  File "C:\Users\Nurzhan\PycharmProjects\RMS\RMS\views.py", line 21, in home
    for project_code, characteristic_time, task_time in latest_comments_by_section
  File "C:\Users\Nurzhan\PycharmProjects\RMS\RMS\views.py", line 21, in <listcomp>
    for project_code, characteristic_time, task_time in latest_comments_by_section
TypeError: unorderable types: NoneType() > NoneType()

Ваш код с мелкими изменениями:
views.py:

import operator
    from django.db.models import Max
     
    latest_comments_by_section = Project.objects.values_list('code').annotate(
        Max('characteristic__comments__created'),
        Max('task__comments__created'),
    )

    latest_comments = [
        (project_code, max(characteristic_time, task_time))
        for project_code, characteristic_time, task_time in latest_comments_by_section
    ]

    projects = [
        Project.objects.get(code=project_code, status='open')
        for project_code, _ in sorted(latest_comments, key=operator.itemgetter(1), reverse=True)
    ]

В качестве первичного ключа я везде в моделях использую подобное поле:

code = models.UUIDField(_('Code'), primary_key=True, default=uuid.uuid4, editable=False)

[Anatoly Scherbakov]

NogerbekNurzhan: совершенно верно. Сначала мы для каждого проекта получаем время последнего комментария к его характеристикам, а потом время последнего комментария к его задачам. Затем мы выбираем максимальное из них, сортируем список по убыванию времени, и трансформируем project_id в инстанс класса Project.

Согласен с Евгений - вероятно, задача решается и через ORM, но я без экспериментов и копания в доках ничего не скажу.

Почему упомянул о числе проектов: потому что последней строкой делается число запросов к базе, равное числу проектов. Но после вашего вопроса я подумал и, кажется, можно сделать красивее.

projects_annotated = list(Project.objects.annotate(
    latest_comment_characteristics=Max('characteristics__comments__created'),
    latest_comment_tasks=Max('tasks__comments__created'),
))

projects_sorted = list(sorted(
    projects_annotated,
    key=lambda project: max(
        project.latest_comment_characteristics,
        project.latest_comment_tasks
    ) if (
        project.latest_comment_characteristics and project.latest_comment_tasks
    ) else project.latest_comment_characteristics or project.latest_comment_tasks,
    reverse=True
))

Здесь я также учёл, что .annotate() может дать None, если комментариев нет.

После чего вам потребуется только передать projects в шаблон и вывести.

[Anatoly Scherbakov]

NogerbekNurzhan: посмотрите новый вариант и, кроме того - вы хотите в этом списке выводить проекты, где комментов нет вообще, или игнорировать их?

[nurzhannogerbek]

Anatoly Scherbakov: Вы совершенно правильно упоминали. В разделах проекта может и не быть комментариев. В таком случаи нужно сортировать по полю revision_date (дата последнего обновления записи) моделей Characteristic и Task. Другими словами приоритетным при сортировки является дата создания комментария, затем дата последнего обновления. Что вы можете посоветовать в таком случаи?

[Anatoly Scherbakov]

def order_by(p):
    commented = max(
        p.characteristics_commented,
        p.tasks_commented
    ) if (
        p.characteristics_commented and p.tasks_commented
    ) else p.characteristics_commented or p.tasks_commented

    if commented is not None:
        return commented

    reviewed = ... # вычисляется по аналогии

projects_annotated = list(filter(
    lambda p: p.characteristics_commented or p.tasks_commented or p.characteristics_revised or p.tasks_revised,
    Project.objects.annotate(
        characteristics_commented=Max('characteristics__comments__created'),
        tasks_commented=Max('tasks__comments__created'),
        characteristics_revised=Max('characteristics__revision_date'),
        tasks_revised=Max('tasks__revision_date')
    )
))

projects_sorted = list(sorted(
    projects_annotated,
    key=order_by,
    reverse=True
))

[nurzhannogerbek]

Anatoly Scherbakov: Только дошли руки протестировать данный ваш код. Cпасибо большое за помощь! Он работает верно. Правда есть маленькая проблемка. У меня такой случай, что есть проекты, но они скажем так пустые. Нет объектов characteristic и task в них. Эти проекты не выводятся на страницу. Я так полагаю нужно сделать 3-им критериям сортировки по поле create_time (дата создания проекта) самого проекта. Как добавить данный 3-тий критерий? Я пробовал добавить следующее, но выводило ошибку:

def order_by(p):
        created = max(
            p.project_created
        )if(
            p.project_created
        )else project.project_created

        if created is not None:
            return created

projects_annotated = list(filter(
    lambda p: ***первый и вторые критерии***, p.project_created,
    Project.objects.annotate(
        ****
        project_created = Max('creation_date')  <-- Третий последний критерий
    )
))

ERROR:

Traceback (most recent call last):
  File "C:\Users\Nurzhan\AppData\Local\Programs\Python\Python35\lib\site-packages\django\core\handlers\exception.py", line 39, in inner
    response = get_response(request)
  File "C:\Users\Nurzhan\AppData\Local\Programs\Python\Python35\lib\site-packages\django\core\handlers\base.py", line 187, in _get_response
    response = self.process_exception_by_middleware(e, request)
  File "C:\Users\Nurzhan\AppData\Local\Programs\Python\Python35\lib\site-packages\django\core\handlers\base.py", line 185, in _get_response
    response = wrapped_callback(request, *callback_args, **callback_kwargs)
  File "C:\Users\Nurzhan\AppData\Local\Programs\Python\Python35\lib\site-packages\el_pagination\decorators.py", line 88, in decorated
    return view(request, *args, **kwargs)
  File "C:\Users\Nurzhan\PycharmProjects\RMS\RMS\views.py", line 56, in home
    reverse=True
  File "C:\Users\Nurzhan\PycharmProjects\RMS\RMS\views.py", line 36, in order_by
    p.project_created
TypeError: 'datetime.datetime' object is not iterable
[31/May/2017 19:50:25] "GET /ru/ HTTP/1.1" 500 79848

[Anatoly Scherbakov]

Я добавил filter() именно затем, чтоб такие проекты прятались, иначе сортировка падает. Вам нужно убрать filter и добавить новое условие в order_by. Вы ведь уже добавили условие для reviewed. У вас почему-то order_by переписана полностью. Пусть она возвращает p.created_time, если все остальные значения None.

[nurzhannogerbek]

Anatoly Scherbakov: Я вас не совсем понял. Можете показать пожалуйста, где именно нужно заменить? Я в order_by лишь добавил код указанный в последнем комментарии и опустил ваш код, чтобы не делать комментарий массивным. А так в order_by есть commented и reviewed.

[Anatoly Scherbakov]

NogerbekNurzhan: понял. Посмотрел внимательно ваш код. Там не нужно использовать max, поскольку число только одно. Нужно возвращать p.project_created в последнюю очередь, если ни comments, ни reviewed результата не дали. Покажите как у вас будет выглядеть order_by.

[nurzhannogerbek]

Anatoly Scherbakov: СПАСИБО ВАМ БОЛЬШОЕ!!! Заработало. Убрал max как вы и советовали из created. Ваш ответ отмечу как верным. Спасибо вам еще раз!

Можно еще один вопрос задать по такой же тематике сортировки. Вывелся список проектов. Детали проекта пользователь может посмотреть открыв модальное окно через специальную кнопку. Пытаюсь вывести список топ-10 последней активностей в конкретном проекте используя вами предложенный самый первый вариант, но не знаю как указать в какой именно запись была активность. Например: В проекте А в разделе характеристик к записе такой-то (название характеристики) был добавлен комментарий в это время. В проекте А в раздели задачи была изменена задача такая-то (тут может быть id задачи) и время изменения.

Просто хочется узнать как бы вы это реализовали?

[Anatoly Scherbakov]

Можно сделать так. В модель Project добавить функцию last_event, которая пробегает по комментариям, характеристикам и задачам, и возвращает тот объект, который был последним изменён. Шаблон вызывает эту функцию и отображает её результат тем или иным образом.

[nurzhannogerbek]

Anatoly Scherbakov: Если честно вы описали очень размыто))) Можете пожалуйста раскрыть вашу мысль более детальнее?!

[Anatoly Scherbakov]

В предположении, что все объекты имеют поле updated_time.

class Project(models.Model):
    def last_event(self):
        event_objects = filter(bool, [
            self.characteristics.order_by('-updated_time').first(),
            ...
        ])

        if event_objects:
            return sorted(event_objects, key=operator.attrgetter('updated_time'), reverse=True)[0]

{% with event=project.last_event %}
{{ event }} <small>{{ event.updated_time }}</small>
{% endwith %}

[nurzhannogerbek]

Anatoly Scherbakov: Я пытался протестировать вами предложенный код, но вызывает ошибку запись: self.characteristics.order_by('-updated_time').first(). Из ошибки можно понять, что нет такого атрибута.

Можете пояснить ваш код пожалуйста? Я так понимаю event_objects собирает самые последние отредактированные записи из каждого раздела раздела. Затем в if event_objects: проверяются уже между собой те записи из разных разделов? А как учитывать комментарии добавляемые к записям? Сравнивать время комментария с временим редактирования.

Ошибка:

AttributeError: 'Project' object has no attribute 'usercharacteristic'.

[Anatoly Scherbakov]

Совершенно верно. Комментарии нужно отдельно считать. Например так -

Comment.objects.filter(characteristics__project=project)

Это если в ManyToManyField вписать related_name='characteristics'.

[nurzhannogerbek]

Anatoly Scherbakov: Честно признаться запутался. Что, куда, зачем... Думаю будет правильнее задать отдельный вопрос в тостере так как последний вопрос уже выходит за рамки текущего вопроса.

Спасибо вам большое за помощь!