Django ORM: Как отсортировать по prefetched_set?

Question

[Mekalure]

Допустим есть две модели: Person и Numbers (ForeignKey на Person, число и еще поля)

Я получаю всех персон вместе с номерами. Но номера дополнительно фильтруются так, что в numbers_set будет либо одно значение, либо никакого. В самом numbers_set может быть несколько значений, но мне нужно конкретно одно или ничего.

persons = Person.objects.all().prefecth_related(Prefecth('numbers_set', queryset=<numbers_filter>))

Проблема в сортировке. Мне надо отсортировать Person по значению номера, но сортировка идет по первому встреченному номеру вообще, а не тем которые предзагружены в Prefetch

А корень проблемы в том, что мне нужны разные сортировки по полям Person и по номерам. По полям сортирую нормально при помощи order_by, а по номерам приходится через sorted(person, key=), что не очень удобно и правильно.

Можно как-то средствами ORM отсортировать как я хочу? order_by принимает QueryExpressions, но я пока не могу сообразить что ему конкретно передать

Answer 1

[werevolff]

А то, что ты в prefetch получаешь, нельзя как-нибудь прогнать через annotation? А потом уже с аннотации сортировать?

А вообще, может использовать аргумент to_attr, чтобы переименовать атрибут?

class Prefetch(lookup, queryset=None, to_attr=None)
The to_attr argument sets the result of the prefetch operation to a custom attribute.

Я так полагаю, numbers_set может ссылаться на существующее поле объекта.

Решение найдено через FilteredRelation(). Mekalure объяснение: Собственно, Prefetch() метод не создаёт атрибут, который доступен в order_by. Я прогнал у себя: этот атрибут не доступен и в annotate. Только в результате выборки. Поэтому, отсортировать по нему не выйдет. FilteredRelation() объявляется внутри annotate и создаёт QuerySet, доступный в order_by и последующей фильтрации. Но, увы, этот QuerySet не будет доступен в результатах выборки. Подозреваю, что Джанга умеет связывать два QuerySet только через prefetch_related, но не через annotate. В любом случае, эта функция делает нужные данные доступными при сортировке.

Получается:

qs1 = Model1.objects.filter(**kwargs)
qs2 = Model2.objects.annotate(order=FilteredRelation('lookup', condition=Q(**kwarg))).prefetch_related(Prefetch('lookup', queryset=qs1)).order_by('order')

Comments

[Mekalure]

А то, что ты в prefetch получаешь, нельзя как-нибудь прогнать через annotation? А потом уже с аннотации сортировать?

Не совсем понял как так можно саннотировать set в одно значение. Знаю у Postgres есть агрегация в Array, но это не то.

class Prefetch(lookup, queryset=None, to_attr=None)
The to_attr argument sets the result of the prefetch operation to a custom attribute.

Если по нему потом можно делать order_by, то это иммено то что нужно. Сейчас проверю

[werevolff]

Не совсем понял как так можно саннотировать set в одно значение. Знаю у Postgres есть агрегация в Array, но это не то.

Ну, первое, что приходит на ум: order_by точно принимает annotated values. А вот принимает ли annotation результат после prefetch_related - большой вопрос. Это надо смотреть. Может, то поле, которое ты создаёшь в prefetch_related, будет доступно в annotate. Тогда можно было бы использовать Case When и обратить None в число, а из number получить числовое поле.

[Mekalure]

Если по нему потом можно делать order_by, то это иммено то что нужно. Сейчас проверю

Задал to_attr='numbers', order_by=('numbers__number'), вышло исключение Cannot resolve keyword 'numbers' into field. Что, блин, логично.

Не совсем понял как так можно саннотировать set в одно значение.

Кажется, я понял что ты предлагаешь. К сожалению, эти номера назначаются человеком и текущими функциями аннотаций выдернуть этот номер не получится.

[werevolff]

К сожалению, эти номера назначаются человеком и текущими функциями аннотаций выдернуть этот номер не получится.

А ты проверь: получится ли numbers получить в annotation? Может, туда твой QS зайдёт и будет доступен для обработки?

[werevolff]

Mekalure, Ещё посмотри вот это. Я так понимаю, у тебя там старая джанга. А эта штука появилась с версии 2.0. Если не критично до неё обновиться, то смотри какая тут красивая картина: оно объявляется в annotation, а значит, будет доступно в order_by

[Mekalure]

Ещё посмотри вот это. Я так понимаю, у тебя там старая джанга. А эта штука появилась с версии 2.0. Если не критично до неё обновиться, то смотри какая тут красивая картина: оно объявляется в annotation, а значит, будет доступно в order_by

Джанга не старая и этот метод реально работает. Можно задать это в аннотацию и потом отсортировать по нему. Что странно, к этой аннотации нельзя обратится как к атрибуту `AttributeError`. В SQL делает inner join к нужной таблице, фильтруется и по доб. параметрам и по человеку, всё как надо.

Но поскольку к анотации нельзя обратится, все еще нужен Perfetch, что-бы вывести эти номера во view. Получается дважды данные гоняю в аннотации и отдельным запросом в Prefetch.

Но это работает и это главное. Спасибо за содействие.

p.s. Все равно осталось ощущение есть другой вариант

[werevolff]

Mekalure, Пожалуйста. Если это действительно является решением, отметь его таковым, если не трудно.

[Mekalure]

werevolff, Не трудно. А ты можешь вариант с FilteredRelation оформить как отдельный ответ, что бы другие не собирали мои грабли?

[werevolff]

Mekalure, Я обновил ответ.

[werevolff]

Mekalure, Я ещё погонял этот вариант у себя. Получается, FilterRelation создаёт такой атрибут, который потом не применить нигде кроме order_by или filter. В prefetch_related его не впихнуть. Видимо, это единственный рабочий вариант. Я могу ошибаться, но что-то подсказывает, что мы все возможные варианты перебрали. Соответственно, Prefetch не может сортировку дать потому, что создаваемый атрибут не доступен в сортировке и аннотациях, а FilterRelation не может взять на себя функции Prefetch потому, что результат не доступен в выборке после завершения запроса. Как вариант здесь - просто сделать SQL Raw.

[Mekalure]

Есть еще один вариант. Я его опробую когда будет время, order_by приминает как строки, так и QueryExpressions, вполне возможно, что ему на вход можно подсунуть хитрый SubQuery или нечто подобное.

[werevolff]

Mekalure, принимает. Возможно, что этот FilterRelation туда и вставится. Потому что я пока не вижу других Expressions, которым можно было бы скормить фильтр или QuerySet. Кстати, он, по-моему, принимает именно выражения, доступные в аннотациях.

[werevolff]

Mekalure получилось чего?

[Mekalure]

Нет, я пока забил на это дело. Когда будет время протестирую