Как послать 10000 запросов через setTimeout в Node.JS с адекватным расходом памяти?

Question

[Daniel Newman]

Есть табличный сервис Airtable (а-ля Excel), с возможностью записи строк в таблицу через API. Нужно вкатить в этот сервис построчно 10 000 строк из коллекции Data. Есть ограничения API в 10 запросов/сек. Я выполняю это размещение через конструкцию вида (setTimeout/setInterval):

Data.forEach(function(item,index){
    setTimeout(function(){
        API.sendData(item);
    });
});

Проблема в том, как я это понимаю, что forEach быстро отрабатывает всю коллекцию и заталкивает в память эту чреду функций (или еще каким-то образом её планомерно и полностью выедает). В итоге мне не хватает для передачи 20Мб базы данных в 10000 записях 1.5Gb имеющейся серверной памяти и приложение падает и/или не отрабатывает коллекцию, это тоже не очень понятно: чья тут вина - моя или API дает сверху timeout и мои запросы висят дольше.

Мне кажется, что вышеприведенная конструкция просто не подходит для такого рода задачи и, наверняка, вы с подобным могли столкнуться в своем опыте. Нужен совет и настовление. Спасибо.

UPD: Код API и ответ сервера

Code

var Airtable = require('airtable');
var app = new Airtable({ apiKey: 'YOUR_API_KEY' }).app('appMzaconT6Iw9A3g');

app('Categories').create({
  "Category name": "Social Innovation",
  "Number of Orgs.": " 59",
  "CatID": "bf5c955e6f68da36e5021d3962c28325",
  "Last update": "2015-03-11T09:08:44.000Z"
}, function(err, records, newOffset) {
    if (err) { console.log(err); return; }
    records.forEach(function(record) {
        console.log(record);
    });
});

Output

{
    "id": "rec00GC0bR7Eh1bGv",
    "fields": {
        "Category name": "Social Innovation",
        "Number of Orgs.": " 59",
        "CatID": "bf5c955e6f68da36e5021d3962c28325",
        "Last update": "2015-03-11T09:08:44.000Z"
    }
}

Answer 1

[Lynn «Кофеман»]

Я бы сделал примерно так:

var l = Data.length;
var n = 0;

function send() {
  API.sendData(Data[n]);
  n++;
  if (n < l) {
    setTimeout(send, 100);
  }
}

send();

Смысл прост, не ставим в очередь сразу все 10000 запросов, а добавляем в очередь по одному после выполнения предыдущего. Тогда у вас в ожидании всегда будет только один запрос.

Comments

[Daniel Newman]

Да, я так вас и понял. Но и сам тайм-аут имеет сходную логику и является функцией с коллбеком, как я ее понимаю. А ретерн будет мгновенно отрабатываться, как вы справедливо отметили в идее об issue разработчикам. Так?

[Lynn «Кофеман»]

Daniel Newman: Кажется вы промахнулись и хотели прокомментировать ответ smanioso

[Daniel Newman]

Алексей Тен: ага, промахнулся. Только я и ваш код не понял. Вы ведь весь этот код хотите в цикле крутить, вызывая функцию send() и вы уверены, что это позволит гарбежд-коллектору сбрасывать состояние этоготаймваута, так? Пока не понимаю, но попробую скоро и отпишусь.

[Lynn «Кофеман»]

Daniel Newman: Нет, не хочу в цикле. Этот код уже и есть цикл по всем элементам массива.

[Daniel Newman]

Алексей, вам и smanioso вопрос - почему моё решение выедает память? Есть какой-то канонический ответ? У меня только облако тегов в голове крутится: closure, method, callback, а склеить не могу.

Answer 2

[smanioso]

var i = 0;
var data = [];
function foo() {
  if (i == data.length) 
      return;
  // send one item to airtable
  i++;
  setTimeout(foo, 1000);
}

+ можно открыть issue для их собственной библиотеки https://github.com/airtable/airtable.js

Comments

[Daniel Newman]

Слушайте, у вас тоже правильный "итерационный" подход, только с кодом ошибка, думаю сами видите. А почему оно меньше памяти ест - идея есть?

[smanioso]

Daniel Newman: это не код - это просто идея для использования. К сожалению редактор на этом сайте не позволяет писать код без ошибок.

Ест меньше памяти по сравнению с какой реализацией? Если с той что в вопросе, то это тривиально - отсутствует "одновременная" генерация 100500 запросов к серверу.

[Daniel Newman]

В сравнении с .forEach(). С форычем возникает какое-чудо, будто бы он проносится по всем множеству, выстраивает очередь событий-функций в память, где они хранятся до полного завершения всех функций в очереди и только потом освобождает память.

[smanioso]

Daniel Newman: именно это и происходит - это не чудо

[Daniel Newman]

smanioso: Я слабо осведомлен с менеджментом памяти внутри методов объекта. Точнее никак не осведомлен. Что читать - не знаю. Большая часть встречаемого материала на просторах необъятного - var j = 'Hello!"; console.log() и частности библиотечные.

[Daniel Newman]

smanioso А есть ссылка на доказательство идеи замусоривания памяти и описание этого процесса? Мне для гугла ключевых слов не хватает. Все что нахожу - как приведенный пример выше — не глубоко и не про то.

[smanioso]

Daniel Newman: зачем это доказывать? Вы свой код читали? Там явно написано - пройди по ОГРОМНОМУ массиву и для каждого элемента выполни функцию, которая создает отложенную функцию. Тут никакого скрытого менеджмента или особенностей GC. Что вы написали, то и происходит.

[Daniel Newman]

У меня (до следующего вопроса на тостере) было заблуждение, что setTimeout - функция с колбеком, нарушающая классным образом асинхронность, в ожидании разрешения функции по заданному таймингу.

Answer 3

[shedy2]

Думаю, что логичнее всего использовать async

async.eachLimit(records, 8, function(record, async_cb) {
   /// your code
   async_cb();
}, function() {
 console.log('done!');
});

Будет делать 8 запросов параллельно, по завершении предыдущего будет запускаться новый запрос

Answer 4

[avdosev]

я понимаю что вопрос старый, но мне кажется что такой вариант более простой

function sleep(time) {
    return new Promise((resolve, reject) => {
        setTimeout(resolve, time)
    })
}

а вот пример использования

async function cycle() {
    const timeToSleep = 1000
    console.log('start')
    await sleep(timeToSleep)
    for (const value of [0,1,2,3,4,5,6]) {
        console.log(value)
        await sleep(timeToSleep)
    }
    console.log('stop')
}