Почему http запрос зависает?

Question

[BestJS]

Использую вот такой код. Из масиива arr берутся ссылки на фотографии и скачиваются.
После 5-30 успешных скачиваний процесс тормозится на http запросе, коллбек просто не исполняется, ни ошибок ничего не приходит.
Подскажите пожалуйста в чем дело.

const fs = require('fs');
const request = require('request');
let arr = [];
let counter = 0;

saveFile()
function saveFile(){
	console.log("");
	console.log(arr.length - counter, counter, "Начал качать: ", arr[counter].from);
	console.log("to", arr[counter].to)
	request({ // Вот на этом моменте тормозится процесс
		url: arr[counter].from,
		method: 'GET',
		encoding: "binary"
	}, (err, req, res)=>{ 
		console.log("Скачал ")

		if(err){
			console.log("НЕ удалось скачать фаил", arr[counter].from);
			return saveFile();
		}
		fs.writeFile(arr[counter].to, res, 'binary', (err)=>{
			if(err) throw err;
				console.log("Сохранил ")
				counter++;
				setTimeout(saveFile, 1000);
		});
	});
}

Пробывал также потоками, тоже самое

function saveFile(){
	let stream = fs.createWriteStream(arr[counter].to)
	let readStream = request.get(arr[counter].from)
	.pipe(stream)
	console.log("");
	console.log(arr.length - counter, counter, "Начал качать: ", arr[counter].from);
	console.log("to", arr[counter].to)
	stream.on('finish', () => {
		console.log("Скачал ")
		counter++;
		setTimeout(saveFile, 1000);
	});
}

Comments

[emp1re]

А что за метод .to/.from?
Ну from я хоть нашел, Array.from(arrayLike[, mapFn[, thisArg]]) , но тут как минимум аргументы нужно передать

Я понимаю что это может быть поля обьекта но где же тогда этот обьект?

[BestJS]

emp1re: это не метод это свойства, а точнее пути от куда брать и куда сохранять
arr = [{
from: "ссылка на картинку"
to : "куда сохранять"
},
....
]

[emp1re]

Cannot read property 'to' of undefined
Cannot read property 'from' of undefined

Не знаю какие у вас ошибки не выскакивают

[emp1re]

BestJS: Дайте рабочий пример

[emp1re]

BestJS: А вообще есть важное правило рекурсии, это условия(точка)выхода из нее, у вас ее просто нету, скорей всего идет переполнения стека.

[BestJS]

emp1re: https://yadi.sk/d/s5wTARoT3KrJp6

[BestJS]

emp1re: да я обхожу рекурсию запуском функции через setTimeout

[emp1re]

BestJS: так она будет бесконечная, setTimeout ничего не меняет.

[BestJS]

emp1re: на счет этого могу поспорить
Вот пример: https://yadi.sk/i/sU6tRcVp3KrQnQ. Раньше он вызывал утечку памяти.(походу разработчики ноды улучшили сборщик мусора). тк с этим раньше у меня были проблемы я отыскал следующие два метода...
setTimeout - https://yadi.sk/i/gL0pdBP23KrQuS Этот пример тоже не вызывает утечек.
Promise - https://yadi.sk/i/Z4GVaCmq3KrRAV

[BestJS]

emp1re: Вот инф по теме https://yadi.sk/i/61FIBd4e3KrRp5
Все ссылки рабочие! И каждый раз на разной ссылке зависают запросы

[BestJS]

emp1re: Вот два запроса держались 100сек затем выдали ошибку https://yadi.sk/i/iQlUEco93KrSf3

[emp1re]

BestJS: Спасибо за подробную информацию, у вас есть доступ к стореджу картинок? Можно ли посмотреть что на той стороне запроса?

[BestJS]

emp1re: по ftp доступа нет. если взять ссылку на которой остановился парсер и вставив ссылку в браузер, можно увидеть что ссылка рабочая.

[Kilmont]

Задал похожий вопрос на stackoverflow, https://ru.stackoverflow.com/questions/688778/node...

Я пытался использовать модуль async.queue, думал он разрулит GET запросы... точнее их кол-во, но проблема 1в1 с вашей.

[emp1re]

BestJS:

const arr = require('./1.json');
const fs = require('fs');
const request = require('request');
const async = require('async');
async.each(arr, (file, cb) => {
  console.log('');
  console.log(arr.length - counter, counter, 'Начал качать: ', file.from);
  request({ url: file.from, method: 'GET', encoding: 'binary' },
    (err, req, res) => {
      if (err) return cb(`НЕ удалось скачать фаил ${file.from} ERROR - ${err}`);
      console.log('Скачал -', file.from);
      var number = Math.random();
      console.log(number)
      fs.writeFile('./img/' + number + '.jpg', 'binary', err => {
        if (err) return cb(`fs error ${err}`);
        console.log('Сохранил ', file.from);
        cb();
      });
    });
},
  function (err) {
    console.log('/ ---------------------------- /')
    if (err) return console.log('ERR3', err)
    console.log("ALL DONE")
  }
);

ERROR - Error: connect ETIMEDOUT 188.225.8.101:443

Проблема на стороне стореджа, к примеру req лимитер может стоять

[Kilmont]

emp1re: А как реализовать парсинг 1 000 000 картинок? у меня стек заполняется походу и вот ошибки такие
{ Error: socket hang up
at createHangUpError (_http_client.js:344:15)
at Socket.socketCloseListener (_http_client.js:376:23)
at emitOne (events.js:120:20)
at Socket.emit (events.js:210:7)
at TCP._handle.close [as _onclose] (net.js:548:12) code: 'ECONNRESET' }

пробовал async.each, async.eachLimit, async.queue

[BestJS]

Kilmont: ну это нормально. Эта ошибка из-за того что вы прервали соединение.

req.on("error", (err)=>{
    console.log("err", err)
    saveFile()//Скачать файл еще раз
  });

Таким образом в один поток, я за 3-4часа скачал уже 10 000 картинок. И таких ошибок было оч много.

[BestJS]

Kilmont: Такая ошибка происходит потому что сервер к которому мы обращаемся почему-то держит соединение открытым и не дает нашему скрипту закончить работу.
С помощью setTimeout такие соединения закрываются.

let timeout = setTimeout(()=>{ 
    req.abort();
  }, 5000);

С помощью обработчика ошибок ловим эту ошибку и отправляем еще раз на скачивание.

[BestJS]

Kilmont: Тк у вас миллион картинок я посоветовал бы сделать много поточный парсер что бы сэкономить время

[Kilmont]

BestJS: тут бы с одним асинхронным потоком разобраться)
много поточность вы имели ввиду тоже на node.js сделать ?
за setTimeout и комментарии спасибо, я думал что пишу что то не так.... и только у меня эти ошибки такие...

Вообще думал что можно просто массив на 1 000 000 ссылок разобрать и получить достойный результат но не тут то было...

Answer 1

[BestJS]

Сделал для себя такое решение.
Со второго или третьего раза скачивание начинается без проблем!

function saveFile() {

	console.log("");
	let timeStap = new Date();
	console.log(arr[counter].from)

	const fetch = (isHttpsResource(arr[counter].from)) ? https : http;

	const req = fetch.get(arr[counter].from, (res) => {
		console.log(arr.length - counter, counter, "Начал качать: ");
		console.log("to", arr[counter].to)

		let stream = fs.createWriteStream(arr[counter].to);
		res.pipe(stream)
		res.on('end', () => {
			console.log("Сохранил за: ", new Date-timeStap, "мс")
			counter++;
			clearTimeout(timeout); // Чистим timeout ...
			setTimeout(saveFile, 500);
		});
	});

	// Если запрос не пришел в течении 5 секунд то обрываем его.
	let timeout = setTimeout(()=>{ 
		req.abort();
	}, 5000);
	
	//После обрыва запускаем заново.
	req.on("error", (err)=>{
		console.log("err", err)
		saveFile()
	});
}