Монга сохраняет 600к записей почти сутки?

Question

[bozuriciyu]

Есть большой массив с данными (спаршенная CSV) - примерно 600к записей.
Я сохраняю их так

let count = 1;
    for (const videoArray of parsed) {
      console.log(count);
      const videoData = {};
      videoData.title = videoArray[1];
      videoData.description = videoArray[2];
      videoData.screenshot = videoArray[3];
      videoData.tags = videoArray[4].split(',');
      await videos.insertOne(videoData);
      count++;
    }

Прошло 8 часов, а сохранено только 230к записей (судя по консоли). Это нормально, или я что-то не так сделал? for...of не надо было?

Answer 1

[Alex Wells]

Ты сохраняешь каждую запись отдельно, еще и ждешь пока каждая сохранится... Оптимизируй: твой parsed пихай чанками по 1000-5000 записей за раз (в зависимости от размера данных).

Comments

[bozuriciyu]

Чанки это insertMany?

[Alex Wells]

bozuriciyu, чанки это куски данных. Чанк из 1000 записей.

[bozuriciyu]

Alex Wells, это значит нет? ЧТо значит "пихай чанками"? Какую операцию производить???? Что такое чанки я знаю, спасибо)))

[bozuriciyu]

Сделал чанки через инсертМэни, действительно заметно быстрее. Спс