Как выбрать только уникальные значения из MongoDB?

Question

[HoHsi]

Добрый день!
Предположим, что есть такая коллекция:

[{
  "task":       1,
  "creator":    1,
  "progress" :  0,
}, {
  "task":       1,
  "creator":    1,
  "progress" :  0.3,
}, {
  "task":       1,
  "creator":    1,
  "progress" :  0.7,
}, {
  "task":       2,
  "creator":    1,
  "progress" :  0.1,
}, {
  "task":       2,
  "creator":    1,
  "progress" :  0.5,
}, {
  "task":       2,
  "creator":    1,
  "progress" :  0.9,
}]

т.е. у нас есть ID пользователя, ID таски и ее прогресс.

Задача в следующем: выбрать только последние (уникальные) прогрессы для каждей задачи, у конкретного пользователя.
Т.е. на выходе должно быть:

[{
  "task":       1,
  "creator":    1,
  "progress" :  0.7,
}, {
  "task":       2,
  "creator":    1,
  "progress" :  0.9,
}]

Сейчас пробовал сделать

const uniqTasks = Task.find({
  creator:  1
})
  .distinct('task')
  .exec();

Этим получаем словарь, а дальше findOne + sort({_id: -1}) в Promise.all.

Promise.all(uniqTasks.map(task) => {
  return Task.findOne({
    creator:  1,
    task: task
  })
    .sort({_id: -1})
    .exec();
});

Как вы понимаете, это N параллельных запросов к базе, т.е мягко говоря говнокод. Как можно агрегировать эти запросы, что-бы на выходе иметь тот-же результат?

Answer 1

[lega]

Не храните дубли да и все.

Comments

[HoHsi]

это capped коллекция

[lega]

HoHsi: что это меняет?

> Задача в следующем: выбрать только последние (уникальные) прогрессы для каждей задачи, у конкретного пользователя.

Если я правильно понял задачу, то "устаревшие" документы не нужны вообще, поэтому лучше их переписывать, а не плодить.

Я бы сделал уникальный индекс на (creator + task), в итоге достаточно одной команды update-upsert что-бы обновлять (добавлять если нету) значение, и всего одна команда find для получения нужных данных, при этом лишние "дубли" не занимают память.

[HoHsi]

> Если я правильно понял задачу, то "устаревшие" документы не нужны вообще, поэтому лучше их переписывать, а не плодить.

Capped, переписывать. Это оксюморон. Вы не можете модифицировать capped коллекцию.

> при этом лишние "дубли" не занимают память.
Capped. Они и не занимают. Это первый вошел - последний вышел ограниченная коллекция.

[HoHsi]

lega: предвещаю ответ "зачем тогда использовать Capped, используй обычную и перезаписывай". Так не выйдет так как на эту коллекцию мне нужно иметь возможность открыть Stream для Pub / Sub

[lega]

HoHsi:
> Вы не можете модифицировать capped коллекцию.
Я могу:

> db.createCollection("log", { capped : true, size : 5242880, max : 5000 } )
{ "ok" : 1 }
> db.log.insert({name: 'linux'})
WriteResult({ "nInserted" : 1 })
> db.log.find()
{ "_id" : ObjectId("574a8bf4bf0004e83b3c7d55"), "name" : "linux" }
> db.log.update({"_id" : ObjectId("574a8bf4bf0004e83b3c7d55")}, {$set:{name:'ubuntu'}})
WriteResult({ "nMatched" : 1, "nUpserted" : 0, "nModified" : 1 })
> db.log.find()
{ "_id" : ObjectId("574a8bf4bf0004e83b3c7d55"), "name" : "ubuntu" }

> предвещаю ответ
Нет, во первых вы можете переписывать (с нюансами), во вторых если вам надо Pub / Sub, то используйте подходящий инструмент для этого (zmq, rabbitmq,... на худой конец redis)

[HoHsi]

lega: странно, Mongo 3+ говорит, что capped - неизменяема. "Взрослые" pub / sub не подходят, мне нужна возможность фильтровать очереди и искать по более сложным критериям, чем queue в Rabbit.

[HoHsi]

lega: к тому же (в чем и был вопрос) мне нужно давать возможность запросить последние результаты для каждой задачи, а не только подписаться на новые эвенты. Тут все изветные мне очереди задач отпадают, так как они могут оповещать только о новых эвентах, но не дают возможность запросить старые. (даже есть Zero можно так настроить, я уверен, что он будет проигрывать в скорости выборки Mongo, да и посоревнуется в костылизации с текущим решением)