Как быстро спарсить JSON с сайта?

Question

[Valeri Lavrov]

Есть 3 сайта

https://app.csgoroll.com/v1/market/inventory
https://loot.farm/fullprice.json
https://skinsjar.com/api/v3/load/bots

Последний достаточно "тяжелый"
В случае первого сайта, нужно пройтись по всем страницам (next_page_url), затем по другим сайтам. Всё это за 10-20 секунд, далее вытащить названия предметов и цены, после добавить в БД. Первый сайт CURL парсит около минуты.
Какие библиотеки для PHP можете посоветовать? На NODE JS никогда не парсил, но может там есть свои библиотеки и быстрее?

P.S. Делаю лично для себя

Comments

[Дмитрий Масленников]

Может быть дело в самой логике, а не выборе языка? Как именно происходит парсинг? Смотрели через профайл на что уходит большая часть времени?

Answer 1

[Лютер Ежов]

В nodejs всё просто: если файл скачан, то открываете его через
var json_data = require('bots.json');
если не скачан, то можно скачать через, например request:
Сначала ставите пакет
$> npm i request
затем такой код:

var request = require('request');
request(https://skinsjar.com/api/v3/load/bots, function(error, response, body) {
  var json_data = JSON.parse(body);
});

Как работать с БД и добавить все записи из json_data -- это отдельный вопрос, более просто решаемый

Answer 2

[Vlad]

CURL не парсит, он получает контент. Собственно, чем бы не делали - время на загрузку данных вы никак не уменьшите, если там не предусмотрена пагинация при запросе к сервисам. Собственно что через PHP, что через JS время будет приблизительно одно и то же для загрузки.