Как получить названия репозиториев на гитхабе с помощью cheeriojs?

Question

[aaklftw]

Мне нужно получить ссылку на репозиторий с атрибута href в названии репозитория
Я делаю парсинг репозиториев по ссылке https://github.com/search?q=vuejs



Вот мой код:

const rp = require('request-promise');
const $ = require('cheerio');
const url = 'https://github.com/search?q=vuejs';

rp(url)
.then(function (html) {
    //success!
    const vueUrls = [];
    for (let i = 0; i < 50; i++) {
        vueUrls.push($('.repo-list a', html)[i].attribs.href);
    }
    console.log(vueUrls);
})
.catch(function (err) {
    //handle error
});

У меня выводятся все a`шки с списка репозиториев, но нужно вывести только тот который в названии репозитория

Comments

[Алексей Ярков]

Парсить гитхаб через DOM вместо API - это сильно

Answer 1

[FinGanapre]

Если я правильно понял о каком элементе идёт речь, то следует изменить селектор на ".repo-list a.v-align-middle"

Comments

[aaklftw]

Уже делал, не работает

[FinGanapre]

Для полноценной работы следует учесть таймаут обращения к серверу.
Как я понял пример учебный, если нет, то в случае с github лучше воспользоваться api

const $ = require('cheerio');
const axios = require('axios');
const fakeUa = require('fake-useragent');



const getPageData = async (url, param) => {
	try {
		return response = await axios.get(url, param = {});
	} catch (err) {
		console.log(err);
	}
}


(async () => {
	try {
		let { data } = await getPageData('https://github.com/search?q=vuejs', {
			headers: {
				'User-Agent': fakeUa()
			}
		});

		let links = new Set();

		$('.repo-list a.v-align-middle', data).each((idx, elem) => {
			links.add(`https://github.com${ $(elem).attr('href') }`);
		});

		console.log(links);
		
	} catch(err) {
		console.log(err);
	}
})();