Как спарсить динамический контент?

Question

[qbr-code]

Добрый день!

Пишу на NodeJs веб скраппер для страницы https://zachtronics.bandcamp.com/album/shenzhen-i-...
Из подключенных модулей использую request и cheerio.
Моя задача получить ссылку, которая находится в одном из нескольких тегов скрипт (так выглядит сама ссылка: https://t4.bcbits.com/stream/b60bed46407ad20cf804c...
Проблема:
request вовзращает только html, а мне нужно то, что лежит в теге скрипт, то есть динамический контент. Я так понимаю, что единственным выходом будет использование webdriver, puppeteer, или headless chrome? Но это ресурсоемко, запускать целый браузер, чтобы только добраться до тега скрипт и взять оттуда ссылку. Нет других способов?

Answer 1

[DanKud]

Ничего там динамически не подключается. Весь контент страницы, в том числе нужные вам скрипты, вы получаете сразу же при загрузке. cheerio вам тут не нужен даже, да и не поможет.

Вот пример как можно получить нужное вам значение:

request('https://zachtronics.bandcamp.com/album/shenzhen-i-o-ost', (error, response, body) => {
	const json = JSON.parse(body.match(/trackinfo:.*(\[.*?\])/)[1]);
	const mp3 = json[0]['file']['mp3-128'];
	console.log(mp3);
});

Comments

[qbr-code]

Спасибо, я думал что без скриптов данные приходят, оказалось с ними

[qbr-code]

Только одно не совсем понятно, зачем здесь используется JSON.parse? Если написать просто const foo = body.match(/trackinfo:.*(\[.*?\])/)[1];
то тоже можно получить эту ссылку

[DanKud]

body.match(/trackinfo:.*(\[.*?\])/)[1] мы парсим JSON-строку из полученного контента. Соответственно затем с помощью JSON.parse преобразовываем этот JSON в объект и получаем нужную нам ссылку. А как вы получите саму ссылку просто получив JSON-строку? :)

[qbr-code]

DanKud, понял)

Answer 2

[hzzzzl]

а request точно не вернет весь html файл страницы со скриптами?

если я правильно понимаю, то интересует массив trackinfo: [...] из главной страницы, может выйдет его без cheerio выцепить регулярным выражением из request.get('bandcamp.com/...'), ну и потом просто распарсить как обычную строку через JSON.parse

UPD
ну и кстати получается, ща регулярку доковыряю и тоже напишу свой граббер бандкампа

request('https://zachtronics.bandcamp.com/album/shenzhen-i-o-ost', function (error, response, body) {
  res.send(body.match(/(?<=trackinfo:)(.*)(?=,)/gi))
  // кривая регулярка, выцепляет не всё что надо
});

Comments

[qbr-code]

Спасибо, я думал что без скриптов данные приходят, оказалось с ними

[qbr-code]

Получилось. Только не пойму, зачем использовать JSON.parse, если и без него можно получить ссылку?