Как упростить запрос на получение последних чатов?

Question

[Yeldos Adetbekov]

Привет Всем! Смотрю на свой старый метод retrieve-a последних чатов с пользователями. Это полный трэш, так как производится несколько запросов к базе, еще и два цикла.

chatters = []
for message in Message.objects.filter(Q(user_from=user)|Q(user_to=user))\
        .order_by("created"):
    chatters.append(message.user_from)
    chatters.append(message.user_to)
counter = Counter(chain(chatters))
ordered = sorted(
                      set(chatters).union(chatters), 
                      key=lambda k: counter[k], 
                      reverse=True)
chatters=[]
for chatter in ordered:
    chatters.append(
        Message.objects.filter(
             Q(user_from=chatter,user_to=user)|Q(user_from=user,user_to=chatter))\
             .order_by("-created")[0])
chats = sorted(set(chatters),key=lambda k: k.created,reverse=True)

Как сделать это проще, да так, чтобы можно было передать к queryset Rest и добавить дополнительные поля. Метод работает, но я понимаю, что это слишком нагруженная процедура с лишними движениями. Думаю нужно использовать возможности БД и ORM(типа distinct() итд.)
Помогите, пожалуйста!
Вот вариант по-короче:

chats = []
messages = Message.objects.filter(Q(user_from=user)|Q(user_to=user)).order_by("created")
chatters = set(messages.values_list('user_from', flat=True)).union(messages.values_list('user_to', flat=True))
for chatter in list(chain(chatters)):
	filtered = messages.filter(Q(user_from__id=chatter,user_to=user)|Q(user_from=user,user_to__id=chatter)).order_by("-created")
    if len(filtered)>0:
    	chats.append(filtered[0])

Comments

[napa3um]

Ключевые слова: денормализация , кеширование.

[sim3x]

Покажите модель

Делать кеширование - ок, делать денормализацю - рано

[Yeldos Adetbekov]

Модель очень простая пока

class Message(models.Model):
	user_from = models.ForeignKey(User, related_name="user_from")
	user_to = models.ForeignKey(User, related_name="user_to")
	created = models.DateTimeField(default=datetime.now())
	message = models.TextField(blank=False)
	delivered = models.DateTimeField(null=True, blank=True)
	viewed = models.DateTimeField(null=True, blank=True)
	deleted_out = models.DateTimeField(null=True, blank=True)
	deleted_in = models.DateTimeField(null=True, blank=True) 
	size = models.FloatField(default=1.0)

	def __str__(self):
		return str(self.user_from) + "-" + str(self.user_to)

[sim3x]

Yeldos Adetbekov:

Опишите текстом, что нужно получить

[Yeldos Adetbekov]

sim3x: Хотел реализовать коммуницирование пользователей. Решил в каждом tuple хранить отправителя и получателя. То есть все сообщения хранятся в одном relation-e. А потом их парсить. В чатах сообщения распарсить удалось на-ура. А при создании ссылок на чаты, трабл появился из за нагруженного запроса на такую простую операцию.
Messages:

User1 -> User2
User2 -> User1
User3 -> User2

У пользователя User2 нужно отобразить список собеседников с последними сообщениями:

User3 User3Message
User1 User2Message

Нужно заметить, что User2 не писал сообщений пользователю User3, но он должен отобразиться в списке. Все хорошо работает, но я хотел улучшить serializer.
Если есть идеи, я бы был бы очень признателен, а то этот говонокод мозолит глаза.

[Yeldos Adetbekov]

Вот вариант по-короче:

chats = []
messages = Message.objects.filter(Q(user_from=user)|Q(user_to=user)).order_by("created")
chatters = set(messages.values_list('user_from', flat=True)).union(messages.values_list('user_to', flat=True))
for chatter in list(chain(chatters)):
  filtered = messages.filter(Q(user_from__id=chatter,user_to=user)|Q(user_from=user,user_to__id=chatter)).order_by("-created")
    if len(filtered)>0:
    	chats.append(filtered[0])

[sim3x]

Yeldos Adetbekov: те ето какой-то вариант группового чата?

[Yeldos Adetbekov]

sim3x: Пока что нет. Для групчата отдельная модель будет организована. Пока только user to user.

[Yeldos Adetbekov]

sim3x:
Как то так должно быть)

[napa3um]

sim3x: в кеш в случае вопроса автора, как это ни странно, как раз и попадут денормализованные данные (агрегатная выборка из БД).

[sim3x]

napa3um: денормализация - изменение структуры БД

[napa3um]

sim3x: всё верно, кэш и будет такой денормализованной БД.

[Yeldos Adetbekov]

napa3um: К сожалению я не понимаю о каком кэше идет речь? Это который c декораторами кэш со временем во views(Нативный кэш или мемкешд). Или кеширование бд это другая тема типа индексации? Но никак не пойму зачем это?

[napa3um]

Yeldos Adetbekov: я бы как раз в основной БД и делал, пару таблиц на агрегаты пустил, проще всего. А потом бы уже оптимизировал выносом в мемкеши и прочие редисы, если бы не хватило производительности на реальной нагрузке. Эти агрегаты я бы сделал не (только) для повышения скорости выборки, но и для упрощения логики в принципе. "Всё нормализовано" и "всё денормализовано", как правило, две экстремальные крайности идеализации предметной области, недостижимые в реальности, а удобные решения находятся где-то посерединке.

[Yeldos Adetbekov]

Думаю это пока сложно, и с реальной проблемой я еще не встречался. Просто появилось прихоть написать короткий и простой код) Можно ли без циклов обойтись. Стандартными функциями django и rest.