Как сделать заддержку выполнения?

Нужно сделать задержку, чтобы сервер не обрывал соединение из-за множество запросов

const tress = require('tress');
const needle = require("needle");
const cheerio = require("cheerio");
const async = require("async");
const fs = require('fs');
const Json2csvParser = require('json2csv').Parser;

let aUrl = [
    'ссылка',
    'ссылка',
    'ссылка',
]

const jquery = body => cheerio.load(body);

let products = [];

let parsePage = ($) => {
    let name = $("#shop-production-view > h1").first().text();

    let categories = $(".breadcrumb").text();
    // let arrCategories = categories.split(' / ');

    let price = $(".price").text();
    let content = $('.content_item').html();
    let images = $(".image").find("img").attr("src");

    // let $imageLink = $(".shop-production-view .image a"),
    //     img = '';
    // if ($imageLink.length > 0) {
    //     img = $imageLink.attr("href");
    // }


    products.push({
        name,
        categories,
        // arrCategories,
        content,
        price,
        images,
        // img,
    });
};

let q = tress((url, callback) => {
    needle.get(url, {  }, (err, res) => {
        if (err) {
            throw err;
        }

        parsePage(jquery(res.body));

        callback();
    });
}, 1);

q.drain = () => {
    // console.log(products);

    fs.writeFile('data.json', JSON.stringify(products), (err) => {
        if (err) throw err;

        console.log("saved");
    });

};

for (let i = 0; i < aUrl.length; i++) {
    q.push(aUrl[i]);
}
  • Вопрос задан
  • 84 просмотра
Решения вопроса 1
yellow79
@yellow79
Senior Software Engineer
let q = tress((url, callback) => {
    needle.get(url, {  }, (err, res) => {
        if (err) {
            throw err;
        }

        parsePage(jquery(res.body));

        setTimeout(callback, 1000);
    });
}, 1);
Ответ написан
Комментировать
Пригласить эксперта
Ответы на вопрос 1
megafax
@megafax
web-программист
Поставьте setTimeout на следущий GET и все
Ответ написан
Комментировать
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Похожие вопросы