Как сделать выборку из двух коллекций в MongoDB?

Question

[Станислав]

Можно ли как то оптимизировать выборку из двух коллекций?
Есть две коллекции
Первая, основная

{
 _id: ObjectId(""),
text: "какие то слова"
}

Вторая

{
 _id: ObjectId(""),
 uid: ObjectId(""), // ID документа первой коллекции
color: "цвет"
}

Мне нужно получить документы из первой коллекции у которой цвет совпадает из второй коллекции
Вот так делаю это сейчас

Collect.aggregate([
 { $match: { $text: {"$search": "слово"}} },
 { $lookup: { from: "colors", localField: "_id", foreignField: "uid", as: "colors" } },
 { $unwind: "$colors" },
 { $match: { colors.color: "red" } },
 { $sort: {createdAt: -1} },
 { $skip:0 },
 { $limit: 10 }
])

Приходится использовать $unwind для разделения большого количества документов, можно ли как то обойтись без него?
К примеру что то подобное реализовать

Collect.aggregate([
 { $match: { $text: {"$search": "слово"}} },
 { $lookup: { from: "colors", localField: "_id", foreignField: "uid", as: "colors" } },
 { $match: { colors.$.color: "red" } },
 { $sort: {createdAt: -1} },
 { $skip:0 },
 { $limit: 10 }
])

Comments

[Антон Горецкий]

При использовании $lookup вместе с $unwind, MongoDB оптимизирует агрегацию, объединяя эти два этапа, чтобы улучшить производительность. Однако, если вы хотите избежать использования $unwind после $lookup, вы можете попробовать фильтровать документы непосредственно внутри $lookup с использованием конструкции $pipeline, которая была добавлена в MongoDB версии 3.6.

Пример кода, который выполняет фильтрацию внутри $lookup:

Collect.aggregate([
 { $match: { $text: {"$search": "слово"}} },
 { $lookup: {
     from: "colors",
     let: { id: "$_id" },
     pipeline: [
       { $match:
         { $expr:
           { $and:
             [
               { $eq: ["$uid","$$id"] },
               { $eq: ["$color", "red"] }
             ]
           }
         }
       },
       { $limit: 1 } // Ограничиваем до одного документа, если нам не нужны все цвета
     ],
     as: "colors"
   }
 },
 { $match: { "colors.0": {$exists: true} } }, // Проверить, что результат не пустой
 { $sort: {createdAt: -1} },
 { $skip:0 },
 { $limit: 10 }
])

[Станислав]

Антон Горецкий, не очень понятно с запросом, может поможете
стандартный $match имеет следующий запрос в коллекцию colors

{
    "$and": [
        {
            "$eq": [
                "$uid",
                "$$id"
            ]
        },
        {
            "rgb.r": {
                "$gte": 147,
                "$lte": 167
            }
        },
        {
            "rgb.g": {
                "$gte": 136,
                "$lte": 156
            }
        },
        {
            "rgb.b": {
                "$gte": 107,
                "$lte": 127
            }
        },
        {
            "prevail": {
                "$lte": 1
            }
        }
    ]
}

Как это интегрировать с pipeline, совсем не понятно =(

[Антон Горецкий]

Станислав, Давайте разберем, как интегрировать ваш $match запрос внутри конструкции $pipeline для $lookup. Запрос внутри $pipeline должен быть аналогичен запросу обычного $match, только с использованием $expr для сопоставления полей документов из разных коллекций.
В вашем случае, сначала добавим запрос $match как часть pipeline в $lookup, сохраняя ссылку на _id изначального документа с помощью переменной $$id, которую мы определяем через let. В этом пайплайне каждый $match будет сравнивать значения поля uid в коллекции colors с _id документа из исходной коллекции. Также вы добавите остальные условия фильтрации для полей rgb.r, rgb.g, rgb.b и prevail.

Примерно так:

Collect.aggregate([
  { $match: { $text: { "$search": "слово" } } },
  { $lookup: {
      from: "colors",
      let: { id: "$_id" }, // Определяем переменную id для использования внутри $lookup
      pipeline: [
        { $match: {
          $expr: { $and: [
            { $eq: ["$uid", "$$id"] }, // Сравниваем uid с id из основного документа
            { $gte: ["$rgb.r", 147] },  // Диапазон значений для красного цвета
            { $lte: ["$rgb.r", 167] },
            { $gte: ["$rgb.g", 136] },  // Зеленого
            { $lte: ["$rgb.g", 156] },
            { $gte: ["$rgb.b", 107] },  // Синего
            { $lte: ["$rgb.b", 127] },
            { $lte: ["$prevail", 1] }   // Условие для поля prevail
          ]}
        }}
      ],
      as: "colors"
    }
  },
  { $match: { "colors": { $ne: [] } } }, // Фильтрация документов с ненулевым массивом colors
  { $sort: { "createdAt": -1 } },
  { $limit: 10 }
])

В этом подзапросе $lookup с $pipeline мы выполняем $match с фильтрами, используя $expr для сопоставления и фильтрации документов в соответствии с вашими условиями. Это позволяет $lookup не только соединять данные из двух коллекций, но и фильтровать их непосредственно во время соединения. Таким образом, в массив colors для каждого документа в итоге попадут только те данные из коллекции colors, которые удовлетворяют всем вашим фильтрам, и вам не придется использовать $unwind.

[Станислав]

Антон Горецкий, да я так и писал, но моя ошибка была в отсутствии

{ $match: { "colors": { $ne: [] } } }, // Фильтрация документов с ненулевым массивом colors

Поэтому мне выдавало непонятные результаты, которых вовсе нет в colors =)
Спасибо за подробное описание, очень помогли =)