MongoDB как обновить дубликаты и одновременно вставить новые документы?

Question

[Alexey]

Каждый час приходит массив объектов, в которых большинство дубликатов и процентов 20 новых значений.
Задача такова, нужно вставить весь этот массив документов в базу данных. Дубликаты обновить, новые значения вставить.

Использовал вот этот подход:

postsModel.insertMany(result, (err, posts) => {
          if (err) {
            Logs.info(err);
          } else {
            Logs.info("Success!");
          }
        });

Exceptions... , добавляет первые (новые) документы, после этого ничего не происходит.

Вопрос:
Как обновить дубликаты и одновременно вставить новые документы?

Answer 1

[hzzzzl]

примерно по такой фразе надо нагуглить решение, думаю этот ответ может подойти
https://stackoverflow.com/a/48451034

массив объектов, в которых большинство дубликатов

если у этих объектов-дубликатов есть какой-то общий айдишник или что-то такое, что можно положить в filter: { _id: unique_id },

Comments

[Alexey]

Я видел уже данный пост, еще про себя подумал что точно его еще раз увижу)
Я не особо понимаю что должен там фильтровать и вставлять...

filter: { _id: item._id },
                update: {
                    $set: { a: item.a, b: item.b},
                    $setOnInsert: { a: item.a, b: item.b }
                },

Правильно ли я понимаю/написал синтаксис (если есть в документе к примеру свойства 'a', 'b')?
У меня одинаковая структура данных, весь нюанс в одинаковых _id.

[hzzzzl]

ops.push(
        {
            updateOne: {
                filter: { _id: item._id },
                update: {
                    $set: { a: item.a, b: item.b },
                    $setOnInsert: { a: item.a, b: item.b }
                },
                upsert: true
            }
        }
    )

да, должно быть именно так, только upsert: true обязательно (UP-date or in-SERT), чтобы он добавил в базу те, которые по фильтру не найдутся

ну, я бы сначала попробовал на тестовой ДБ, конечно :)

судя по докам монги bulkWrite может взять аж 100.000 операций за раз, думаю должно хватить
https://docs.mongodb.com/manual/reference/method/d...

[Dimonchik]

фильтровать нужно чтобы Монга всем не всунула новые данные, а только тому, где нужный ID

[hzzzzl]

dimonchik2013, ну да, там forEach для каждого айтема, чтобы updateOne именно к существующему дубликату применился

[Alexey]

Всем спасибо за комментарии. Итак результат:

let ops = [];

            result.forEach(item => {
                ops.push({
                    updateOne: {
                        filter: {'_id': item._id},
                    update: {
                            $set: {
                              _id: item._id,
                              owner: item.owner,
                              title: item.title
                            }
                        },
                        upsert: true
                    }
                })
            });

            postsModel.bulkWrite(ops)
            .then(bulkWriteOpResult => {
                console.log('BULK update OK');
                console.log(JSON.stringify(bulkWriteOpResult, null, 2));
            })
            .catch(err => {
                console.log('BULK update error');
                console.log(JSON.stringify(err, null, 2));
            });

$setOnInsert не применяется, поскольку нарушается общая логика https://stackoverflow.com/questions/23992723/finda...
"You cannot address the same field in a $set operation as a $setOnInsert operation.
There is a general problem in the logic that causes the error you are experiencing."

[hzzzzl]

Alexey, монга сэтает для новых документов эти же данные сама по себе да? просто через $set

[Alexey]

hzzzzl, да, совершенно верно. В результате выдает мне json отчет "о проделанной работе", сколько заменила, сколько вставила и.т.д.