Как найти дубли строк в MongoDB?

Question

[Anton]

Привет!
Имеется документ в mongodb вида:

"_id" : ObjectId("5ea3138daee55c0001eac29f"),
"linkRole" : [
        {
            "role" : "admin",
            "Organization" : "a32cc286-256b-40e5-fc5d-5ecbdc341ab1"
        },
        {
            "role" : "superadmin",
            "Organization" : "a32cc286-256b-40e5-fc5d-5ecbdc341ab1"
        },
        {
            "role" : "user",
            "Organization" : "a32cc286-256b-40e5-fc5d-5ecbdc341ab1"
        },
        {
            "role" : "user",
            "Organization" : "a32cc286-256b-40e5-fc5d-5ecbdc341ab1"
        },
        {
            "role" : "admin",
            "Organization" : "dd79f23d-2382-4eb7-a2f3-634890eba0bb"
        },
        {
            "role" : "superadmin",
            "Organization" : "dd79f23d-2382-4eb7-a2f3-634890eba0bb"
        }]

Или он же в ином виде:

linkRole[0].role:admin
linkRole[0].Organization:a32cc286-256b-40e5-fc5d-5ecbdc341ab1
linkRole[1].role:superadmin
linkRole[1].Organization:a32cc286-256b-40e5-fc5d-5ecbdc341ab1
linkRole[2].role:user
linkRole[2].Organization:a32cc286-256b-40e5-fc5d-5ecbdc341ab1
linkRole[3].role:user
linkRole[3].Organization:a32cc286-256b-40e5-fc5d-5ecbdc341ab1
linkRole[4].role:admin
linkRole[4].Organization:dd79f23d-2382-4eb7-a2f3-634890eba0bb
linkRole[5].role:superadmin
linkRole[5].Organization:dd79f23d-2382-4eb7-a2f3-634890eba0bb

Вопрос: как посчитать все документы, в которых есть одинаковые "парные" массивы (в данном примере это [2] и [3]) и затем удалить все дубли?

Answer 1

[Александр Романов]

На ум походит только агрегация с $unwind, но $unwind догорая операция

pipeline = [
  {$unwind: "$linkRole"},
  {$group: {
    _id: {
      d_id: "$_id",
      role: "$linkRole.role",
      Organization: "$linkRole.Organization"
    },
    count: {$sum: 1}
  }},
  {$match:{count: {$gt: 1}}}
]
db.users.aggregate(pipeline).forEach(a => {
  user = db.users.findOne({_id: a._id.d_id});
  for (let i = 1; i < a.count; i++) {
    user.linkRole.splice(
      user.linkRole.findIndex(lr => lr.role === a._id.role && lr.Organization === a._id.Organization),
      1
    )
  }
  db.users.save(user)
})

В ответ получите документы в поле docs которых будут _id с одинаковыми linkRole и удалить их уже в клиентском коде

Comments

[Anton]

Благодарю. Тут видите какая проблема, одинаковые linkRole могут быть с разными Organization. Надо учитывать совпадение сразу по двум полям. Я сейчас вывел список всех документов, где содержатся дубли так:

db.users.aggregate(
    {$unwind: "$linkRole"},
    {$group: {"_id": {org: "$linkRole.Organization", role: "$linkRole.role"},
    count: {"$sum": 1}}},
         {$match: { "count": { "$gte": 2 }}})

Получилось так, что где-то 2 одинаковых набора строк, где-то 6 таких повторений и т.д.
Теперь бы как-то оставить по одному уникальному из всех этих документов и задача будет решена :)

По вашему примеру у меня 10497 документов. Это не совсем правильная выборка, т.к. у разных пользователей могут быть одинаковые роли в одной организации.

[Александр Романов]

Anton, _id: "$linkRole", должен работать точно так же как и "_id": {org: "$linkRole.Organization", role: "$linkRole.role"

Дубли в рамках одного документа или в рамках всей коллекции?
т.е. надо удалить роль user у всех user и оставить только у одного или у каждого пользователя оставить по одной роли user?

[Anton]

Александр Романов, в этой коллекции 1 документ=1 пользователь. В каждом из них есть запись вида:

linkRole[0..n].role:superadmin/admin/user
linkRole[0..n].Organization:a32cc286-256b-40e5-fc5d-5ecbdc341ab1.....

И иногда в 1 документе(пользователе) 2, 3..10 раз повторяется массив в две строки - с той же ролью в той же организации.
Т.е. один Иван Иванович 10 раз в одной организации является user'ом или admin'ом.

$addToSet выглядит именно тем, что нужно. Но я не могу понять как его применить в update так, чтобы перебор шёл по документам (_id) и в них оставалась только уникальные записи.

[Александр Романов]

Anton, тогда немного другой запрос (не забудте про бэкап):

pipeline = [
  {$unwind: "$linkRole"},
  {$group: {
    _id: {
      d_id: "$_id",
      role: "$linkRole.role",
      Organization: "$linkRole.Organization"
    },
    count: {$sum: 1}
  }},
  {$match:{count: {$gt: 1}}}
]
db.users.aggregate(pipeline).forEach(a => {
  for (let i = 1; i < a.count; i++) {
    db.users.updateOne({_id: a._id.d_id}, {$pull: {linkRole: {role: a._id.role, Organization: a._id.Organization} }})
  }
})

[Anton]

Александр Романов, спасибо за запрос. Почему-то $pull убирает вообще все значения linkRole, остаются пустые массивы. В нём никакие доп. аргументы не нужны типа $in?

[Александр Романов]

Anton, да, не учёл я что он удаляет не по одному, а сразу все подходящие
Пустым он оставит только если каждая роль встречается минимум 2 раза
Совсем топорный путь:

db.users.aggregate(pipeline).forEach(a => {
  user = db.users.findOne({_id: a._id.d_id});
  for (let i = 1; i < a.count; i++) {
    user.linkRole.splice(
      user.linkRole.findIndex(lr => lr.role === a._id.role && lr.Organization === a._id.Organization),
      1
    )
  }
  db.users.save(user)
})

[Anton]

Александр Романов, огромное Вам спасибо, запрос отработал корректно!
Подскажите, как дойти до Вашего уровня знаний?) Посоветуете что-то?)
Мне интересна монга как поле для использования регулярных выражений, логики и обработки вот таких запросов нетривиальных. Но хватаюсь за всё понемногу и очень трудно разобраться.

[Александр Романов]

Anton, не то что бы у меня большой багаж, это решение не особо хорошее, думаю можно лучше, но быстро не придумал как)
А так просто практика