Как получить большое количество данных пачками в mongoose + nodejs?

Question

[Максим]

Есть метод в контроллере, который запрашивает большое количество данных у базы посредством такой цепочки Model.find(obj).select(obj).populate(str).exec(fn)
Данных много и монго валится по таймауту. Решил поискать, как получать данные пачками. Наткнулся на решение с пейджингом, используя .skip() и .limit(). Но так и не понял, как получить все данные таким образом. Рекурсией запросы посылать с изменением передаваемых значений в .skip() и .limit()? Может быть есть нормальное решение, как получить портянку данных не перегружая при этом сервер
Помогите, пожалуйста, я новичок в mongo и node

Заранее спасибо!

Comments

[Максим]

Все оказалось просто
Сделал с помощью cursor()

var bigData = [];
var cursor = Model.find(obj).select(obj).populate(str).cursor({batchSize:100});
cursor.
  on('data', doc => {
     if(doc) {
       bigData.push(doc);
     }
  })
  .on('end', () => {
     // производим дальнейшие действия с данными
  })

Answer 1

[Максим]

Все оказалось просто
Сделал с помощью cursor()

var bigData = [];
var cursor = Model.find(obj).select(obj).populate(str).cursor({batchSize:100});
cursor.
  on('data', doc => {
     if(doc) {
       bigData.push(doc);
     }
  })
  .on('end', () => {
     // производим дальнейшие действия с данными
  })

Comments

[yadimon]

Тут есть проблема из-за .populate.
получается что cursor может брать только по одному элементу.
об этом же говорят тут:
disq.us/p/1zwzgzi

К сожалению я проблему пока не решил, если кто знает что делать, скажите.

Answer 2

[SergeyBugai]

Лумаю это то что вам нужно ссылка

Comments

[Максим]

Прошу прощения, должен был уточнить, на борту mongoose 4.6

Mongoose: Query.prototype.stream() is deprecated in mongoose >= 4.5.0, use Query.prototype.cursor() instead

[Максим]

При этом я не увидел решения ни в стримах ни в курсоре, для своей задачи. Возможно плохо смотрел
В конце в колбеке метода .exec() есть функция, которая перебирает и дополняет полученную коллекцию и после эти данные экспортируются в .xslx