Как парсить картинки через GET запрос NodeJs?

Question

[Владислав Чернецкий]

Сижу уже более 9 часов, помогите разобраться.

Значит все рабоет супер, проблема заключается в том, что я хочу проверить: по такому url есть изображение или нет? А оно перезаписивает и я не могу этого сделать.

var request = require('request'),
    cheerio = require('cheerio'),
    sys = require('sys'),
    http = require('http'),
    token = require('token'),
    crypto = require('crypto'),
    net = require('net'),
    get = require('get'),
    Iconv  = require('iconv').Iconv;

for (var i = 0; i < 5; i++) { // неудачная попытка сделать цикл, хотя работает но request.get перезаписивает 
// переменную и происходит такая ситуация что реально проверяется только одна ссылка на картинку
    var token = crypto.randomBytes(16).toString('hex');  // генерация мд5 на угад парсить думаю
    var url = 'https://wu.wsiz.rzeszow.pl/wunet/photos/s' + token + '.jpg';
request.get({uri: url, method: 'GET', encoding: 'binary' }, function (err, res, body) {

    console.time(url);
    body = new Buffer(body, 'binary');
    var iconv = new Iconv('latin1', 'utf8//IGNORE');
    body = iconv.convert(body).toString();

    var $ = cheerio.load(body);


    var tmp = $('h1').html();
// Если есть h1 значит попало на ошибку и изображения тут нету, проверка ниже
    if (tmp==null)
        console.log('ok='+url+'##############################################');
       // Если заголовка нету, значит есть изображения
    else {
        console.log('fuck %)'+ token);
    }
    console.timeEnd(url);

});}

Нормальное изоброжение - https://wu.wsiz.rzeszow.pl/wunet/photos/se9191809b...
e9191809bf90e68444f1200592ee4c06 - уникальный код 32 символа. s - это соль, .jpg - расширение картинки

Как сделать так, что бы оно не перезаписивало. Хочу сделать это для себя. Интересно или nodejs это может осуществить. Спасибо за ответы.

Answer 1

[Тимур Шемсединов]

Или почитайте что такое замыкание или этот код не будет работать. Или нельзя объявлять функции внутри цикла или нельзя писать var внутри цикла. Или вы учите JavaScript тут: learn.javascript.ru или ноду тут: learn.javascript.ru/nodejs-screencast а потом лабораторки тут: nodeschool.io

var request = require('request'),
    crypto = require('crypto');

var token, url;
for (var i = 0; i < 5; i++) {
	token = crypto.randomBytes(16).toString('hex');
	url = 'https://wu.wsiz.rzeszow.pl/wunet/photos/s' + token + '.jpg';
	doRequest(url);
}

function doRequest(url) {
    request.get(
    	{ uri:url, method:'GET', encoding:'binary' },
    	function (err, res, body) {
            console.time(url);
            body = new Buffer(body, 'binary');
            console.timeEnd(url);
        }
    );
}

Comments

[Владислав Чернецкий]

Спасибо, большое! Подскажите, а память как то можно освободить, потому что при большом цикле - выдает ошибку что памяти не хватает...

[Тимур Шемсединов]

Чтоб это нормально работало, нельзя все запросы стартовать разом в цикле, это заберет всю память, она выделится синхронно, и не успеет отдаваться. Нужно построить очередь с определенным кол-вом слотов, т.е. одновременно отправленных запросов. Сразу занимаем все слоты, потом ждем, пока вернутся ответы, как только возвращается ответ в одном слоте, то в нем мы запускаем следующий запрос. Для этого вам нужно сделать счетчик отправленных запросов и повесить на setInterval функцию, которая будет проверять, есть ли свободные слоты. Тогда GC будет успевать освободить память, если удут проблемы с GC, то нужно будет его отключить и перейти на ручное управление сборкой мусора в памяти, это не сложно, ноду нужно будет запускать с ключами --nouse-idle-notification --expose-gc и на таймере вызывать функцию gc(). Вообще, чтобы профессионально написать такой кравлер, нужно изучить и программирование и ноду и теорию. Эта тема называется СМО (системы массового обслуживания), в книжках и в инете можно найти формулы для расчета оптимальных параметров СМО.

[Владислав Чернецкий]

Спасибо, буду пробивать и стараться! Думаю в скором будущем я смогу осуществлять такие действия без проблем. ;)

Answer 2

[_ _]

У вас похоже просто цикл выполняется до конца и процесс завершается. Нода же асинхронная, управление на request.get не блокируется. Почитайте про асинхронность и promise.

Answer 3

[Владислав Чернецкий]

Спасибо, большое! Подскажите, а память как то можно освободить, потому что при большом цикле - выдает ошибку что памяти не хватает... Может использовать этот модуль?

https://github.com/nodejitsu/forever

Comments

[Тимур Шемсединов]

Ответ в коментах к моему основному ответу. Forever тут вообще ни каким боком не нужен.