Как в node js выполнить одновременно 500 запросов?

Question

[Максим]

Можно ли в node js запустить параллельно 50 функций, но с небольшим интервалом которые будут производить запросы?

Например есть ф-ция

function getStatistic() {
	request.get({
		url: 'http://*******/api/v1/statistics',
		time: true
	}, function (err, response, body){
		console.log('Request time in ms', response.elapsedTime);
		console.log('Request status code', response.statusCode);
		var info = JSON.parse(body);
		console.log('Request body ', info);
	});

}

Нужно выполнять ее с интервалом в диапазоне 100-500 мс, getStatistic будет содержать до 50 запросов.
Так же будет логирование, чтобы не блокировалось выполнение.
Подскажите, как правильно организовать?

Answer 1

[Andrey Tsvetkov]

Я бы использовал библиотеку async, там есть много интересного, но именно вам должно помочь это https://caolan.github.io/async/docs.html#times

Answer 2

[Марк]

Здесь можно поступить таким способом:
Использовать setInterval. В котором считать каждое выполнение и по достижению 500 делать clearInterval.

Вы сможете сделать временной интервал и ограничить количество запросов. Если будут сложности пишите, набросаю пример.

Comments

[Максим]

С интервалами понятно, как параллельно запустить n-количество ф-ций?

[Марк]

Я согласен с Андреем Цветковым, здесь подойдет async. Если я правильно понимаю, то есть пример описывающий вашу задачу.

var async=require('async');

function test1(callback) {
        setTimeout(function() { //это асинхронный запрос типа
                callback(null,[new Date()]); //ответ
        },2000);
}
function test2(callback) {
        setTimeout(function() {
                callback(null,[new Date()]);
        },1000);
}

function test3(callback) {
        setTimeout(function() {
                callback("Oh error!",[new Date()]); //ошибка
        },100);
}

function resultShow(err,results) {
        console.log(new Date());
        if (err) {console.error("---====="+err+"=====---");}
        console.log(results);
        console.log('--------');
}

console.log(new Date());
console.log('--------');

async.parallel({one: test1,two: test2},resultShow); //вызываем через 2 секунды
async.series({one: test1,two: test2},resultShow); //вызываем через 3 секунды первым будет one
async.parallel({one: test1,two: test2,three: test3},resultShow); //выпадет через 100 миллисекунд

Answer 3

[Михаил]

Возможно, стоит взять kue. Там можно ограничить число параллельных задач. Либо найти библиотеку, которая реализует возможности семафоров