NodeJS — Как сделать циклический then на Promise() — делать запросы пачками по 5 штук?

Question

[Григорий Васильков]

Можете пояснить пожалуйста как правильно писать очереди запросов без рекурсии, если использовать промисы? Я что-то совсем запутался. Выкладываю свой код, и не понимаю где тут вставить временную задержку правильно.

do {
      current_partnums = partnums.splice(0, limit);
      Promise.all(ps).then((function (current_partnums) {
        ps = current_partnums.map(function (partnum) {
          // get google results for each part
          return getGooglePartResults(partnum)
            // after search parse pages
            .then(function (part) {
              return parseGooglePartResults(part);
            });
        });
      }).bind(null, current_partnums));
    } while (partnums.length);

Конечно гугл выдает что каптча и что бот, когда пачкой 1000 запросов поиска приходит. Хочется поставить задержку секунд 5 между каждым запросом.

Добавлял в ps.push() запрос с таймаутом но он одновременно создает 1000 таймаутов и все они заканчиваются через 3 секунды, а не после каждого запроса 3 сек. Помогите

Comments

[Сережа Ахен]

Я бы async либу подключил

Answer 1

[Александр Аксентьев]

https://github.com/sindresorhus/p-queue

Comments

[Григорий Васильков]

Спасибо
А на пальцах можешь пояснить как должно работать?

[Григорий Васильков]

я имею в виду если не использовать решение

[Александр Аксентьев]

Григорий Васильков: https://github.com/sindresorhus/p-queue#advanced-e...
на лошадках.
Сама либа 100 строк, осилить реально.

[Григорий Васильков]

Помог :/

[Григорий Васильков]

Обучающий сайт часто превращается в "иди туда, а там разберешься". И даже мысль не возникает, что не дав инструментов мышления - разобраться потребуются дни, и с такой помощи толку нету, и каждый в конце будет уверен, что разобрался сам вместо того чтобы рассказать кто ему помог. Зачем психологию тщеславием разбавлять?

[Александр Аксентьев]

Григорий Васильков: Сколько нужно дней чтобы прочитать 100 строк кода и понять их?

Работает ровно так же как все очереди.
Запускает задачи пока количество запущенных не превышает лимит.
Когда задача завершается берет следующую в очереди.

Answer 2

[Coder321]

Если правильно понял вопрос, то такое банальное решение должно помочь

return new Promise((resolve) => {
    setTimeout(() => {
        return resolve(parseGooglePartResults(part));
    }, 5000)
})

Comments

[Григорий Васильков]

Ну это понятно что так надо сделать, вопрос в том, что я не понимаю куда его запихнуть в коде выше.
Ну то есть ясно что нужна задержка по времени, но когда я прогоняю массив запчастей и ставлю для каждой задержку оно выполняет в точности как просили - 100 запчастей, 100 задержек, через 5 секунд - все 100 задержек выполняться.

А вопрос именно в том, чтобы понять как работает цепочка и как организовать цепочку, имея массив одинаковых исходных данных, по сути пояснить - где должна быть задержка и почему именно там.

Я поставил модули что ребята выше указали, но без дальнейшего понимания работы промисов очень быстро становится печаль при попытке написать что-то труднее, чем 10 запросов в очереди.

Функции я знаю и как работают обещания - тоже понятно. А вот как их грамонтно комбинировать и писать при этом чистый код - вот это задачка! Библиотека это решение в стиле "зачем тебе изучать, просто используй", но однажды jquery уже пояснил, что такое - не знать но использовать.

[Coder321]

Григорий Васильков: Если честно, то не совсем понимаю что Ваш код должен делать, но если все же правильно понял с описания тогда возможно вод так:

return current_partnums.map((partnump, i) => {
    return new Promise((resolve) => {
        setTimeout(() => {
            getGooglePartResults(partnum)
                .then(part => resolve(parseGooglePartResults(part)))
        }, 1000 * i)
    })
});