Как в node.js заставить цикл (for loop) выполняться только после завершения выполнения предыдущего шага?

Question

[Sstrax]

Доброго дня.

Была идея написать свой API к сайтам, которые этого не предусматривают...

Для этого хотел использовать cheerio, но столкнулся с проблемой:
При переборе страниц циклом "For" и сохранением результата программа начинает все ступени цикла for выполнять одновременно, что приводит к вылету приложения. Подскажите, чем дополнить цикл For для выполнения ступеней поочередно?

Comments

[Sstrax]

Алексей, Вы правы. Просто думал, есть простой ответ на мой вопрос. Прилагаю код:

var request = require('request');
var cheerio = require('cheerio');
var async = require('async');
var fs = require('fs');
var fsp = require('fs-promise');
var ProgressBar = require('progress');
var request = request.defaults({jar: true})
var credentials = {
	username: 'login',
	password: 'pass'
};



var download = function(uri, filename, callback){
  request.head(uri, function(err, res, body){

		if ('content-type:' != 'text/html'){
			var req = request.get({url: uri, encoding: 'binary'}, function (err, response, body) {
			 //console.log('content-type:', res.headers['content-type']);
			 //console.log('content-length:', res.headers['content-length']);
				fs.writeFile(filename, body, 'binary', function(err) {
					 if(err){
						console.log(err);
					}
					else {



						console.log(filename + ' saved');
					}
				})

			}).on('close', callback);
	}
  });

};



request.post({
  	uri: 'https://mysite.com/login/',
    headers: { 'content-type': 'application/x-www-form-urlencoded' },
	  body: require('querystring').stringify(credentials),
		headers: {'user-agent': 'Mozilla/5.0'}
}, function(err, res, body){
	if(err) {
		callback.call(null, new Error(' Login  failed'));
		return;
	}

	for(var i = 1; i < 50; i++) {
	  (function(i) {
	  setTimeout(function(){
			request('https://mysite.com' + i + '/', function(err, res, body) {
				if(err) {
					callback.call(null, new Error('Request failed'));
					return;
				}

				var $ =  cheerio.load(body);
				//var arr = "a,b,c".split(',')
				var pages = $('.paginator_pages').text().split(' ');
				//console.log(body);

				var img = $('.p_body', '.post').each(function(task, next){

		    var link = $(this).find('img');
				var href = link.attr("src");
									if (typeof href !== "undefined") {
										var name_arr = href.split('/');
										var name = name_arr[name_arr.length - 1]
										var dir = 'img/' + i + '/';
										if (!fs.existsSync(dir)){
										fs.mkdirSync(dir);
										}
										download(href, dir + name, function(){
										  console.log(name + ' saved');;
										});

									}

			});

				//fs.writeFile

				 //console.log(i);


			});
	  }, 5000 / i);
	  })(i);
	}


});

[Sstrax]

Я тут и руками пытался паузу поставить, но не работает( Видимо я не правильно понимаю смысл ивентов и коллбэк-функций...

Answer 1

[Алексей Уколов]

Очевидно, раз у вас for вдруг начинает работать параллельно, значит внутри что-то асинхронное. Следовательно, вам нужно посмотрить цепочку промисов:

let chain = Promise.resolve();

for (let i = 0; i < 10; i++) {
  chain = chain.then(myAsyncFunction);
}

chain.then(() => {console.log('all done')});

https://jsfiddle.net/koceg/entn3vqj/

Comments

[Sstrax]

Внутри у меня
for(var i = 69; i < 71; i++) {
....
далее .each при переборе ссылок

и вызов функции сохранения где стоит fs.writeFile для сохранения файла.

В каком месте нужно добавить эти промисы, если не сложно, подскажите.

[Алексей Уколов]

Я гадать по кофейной гуще не умею. Как минимум, очевидно, writeFile - это асинхронная функция и нужно обернуть её.

[Алексей Уколов]

В вашем случае myAsyncFunction - это setTimeout и всё, что внутри.

[Sstrax]

SyntaxError: Block-scoped declarations
setTimeout и всё, что внутри запихал в функцию и вызываю через

let chain = Promise.resolve();

for (let i = 1; i < 10; i++) {
chain = chain.then(onepage(i));
}

chain.then(() => {console.log('all done')});

[Sstrax]

выдает ошибку SyntaxError: Block-scoped declarations

что я сделал не так?

[Алексей Уколов]

Судя по тексту ошибки, ваша нода не понимает что такое let. Либо научите её (какие-то флаги там, кажется, есть), либо перепишите на ES5.