Как собрать список url статей с сайта в массив?

Question

[Максим Верховный]

Нужно с сайта донора собрать список url и сохранить в массив который дальше будет парситься.

Я так понимаю что let aUrl = "здесь должна быть цикл который пробежит по всем url сайта и соберёт их в массив"

Остальное работает как надо!

const tress = require('tress');
const needle = require("needle");
const cheerio = require("cheerio");
const async = require("async");
const fs = require('fs');
const Json2csvParser = require('json2csv').Parser;

let aUrl = ??????

const jquery = body => cheerio.load(body);

let products = [];

let parsePage = ($) => {
    let name = $("#shop-production-view > h1").first().text();

    let categories = $(".breadcrumb").text();
    // let arrCategories = categories.split(' / ');

    let price = $(".price").text();
    let content = $('.content_item').html();
    let images = $(".image").find("img").attr("src");

    // let $imageLink = $(".shop-production-view .image a"),
    //     img = '';
    // if ($imageLink.length > 0) {
    //     img = $imageLink.attr("href");
    // }


    products.push({
        name,
        categories,
        // arrCategories,
        content,
        price,
        images,
        // img,
    });
};

let q = tress((url, callback) => {
    needle.get(url, {  }, (err, res) => {
        if (err) {
            throw err;
        }

        parsePage(jquery(res.body));

        callback();
    });
}, 1);

q.drain = () => {
    // console.log(products);

    fs.writeFile('data.json', JSON.stringify(products), (err) => {
        if (err) throw err;

        console.log("saved");
    });

};

for (let i = 0; i < aUrl.length; i++) {
    q.push(aUrl[i]);
}

Answer 1

[Дмитрий Еремин]

ну, видимо
let aUrl $(".a").attr("href")
... нет?

Comments

[Максим Верховный]

нее не прокатит надо сначала собрать массив со всеми ссылками на статьи... до этого они подставлялись в ручную вот так выглядело:

let aUrl = [
    'https://ссылка.ru',
    'https://ссылка.ru',
    'https://ссылка.ru',
    'https://ссылка.ru',
]

[Дмитрий Еремин]

ну
а вы хотите сделать это автоматически?
Проблема то в чем?

[Максим Верховный]

Дмитрий Еремин да хочу сделать это автоматически, но я не знаю даже сколько там всего страниц со статьями.

Ещё раз повторю мне нужно написать цикл который будет пробегать по всем url сайта, отбирать из них url на страницы с подробной статьёй а затем сохранять эти url в массив, затем этот массив будет передаваться дальше (это уже реализовано) и с каждой страницы будут парситься данные, как подробнее ещё объяснить я не знаю