Как получать на PHP большой JSON массив из url по API?

Question

[Cheizer]

Приветствую, подскажите пожалуйста, как работать с такими JSON массивами на 16928 записей на PHP?

В браузере то долго открывает, а на php если просто через CURL получать и в цикле foreach работать с ним выбирать то что нужно, сервер виснет просто, сервер VPS простой 1 CPU • 1 Гб RAM • 15 Гб NVMe.

Есть параметры фильтра page и limit

page
A results page number. Default value is 1.
limit
Number of items per page. Default value is 50. Max value is 100.

С ними уже можно меньше за одно обращение к API получить легче массив &page=10&limit=1, но все равно тяжеловато.

Подскажите пожалуйста, есть какая простая библиотека PHP для работы с такими массивами?
Как результат записываю в базу данных поля из массива. Вот пока не пойму как сделать, за один запрос все виснет, а если разбивать через page и limit, то замучаюсь запускать скрипт снова и снова что бы добавить такое большое количество записей в бд.
Как с этим работать грамотно?

Comments

[Алексей Уколов]

Скорее всего, у вас проблема с алгоритмом, но чтобы её решить, алогоритм нам нужно видеть.

Answer 1

[Adamos]

Самое очевидное, что, скорее всего, было сделано неправильно - это запись в БД каждой строчки вместо формирования транзакции и записи всего этого добра чохом.

Comments

[Cheizer]

Хм, то есть запись в БД построчно тормозит все, можно поподробнее пожалуйста немного, код не прошу и примеры, просто суть расскажите, значит нужно транзакции формировать и записывать каким то чохом?
Я из каждой записи из массива, создаю страницу в БД MODX REVO и заполняю TV поля. Какой подход будет правильным для этого?

[Adamos]

Cheizer, не знаю за МОДХ, не пользуюсь. Но в БД большой объем данных должен идти не километрами одиночных INSERT, а

START TRANSACTION; INSERT ... VALUES(), (), (), ....(); COMMIT;

. Разница в скорости - на порядки.

[ThunderCat]

Cheizer, https://www.google.com/search?q=mysql+insert+multi...
В том числе дока:

If you are inserting many rows from the same client at the same time, use INSERT statements with multiple VALUES lists to insert several rows at a time. This is considerably faster (many times faster in some cases) than using separate single-row INSERT statements. If you are adding data to a nonempty table, you can tune the bulk_insert_buffer_size variable to make data insertion even faster.

[Cheizer]

Adamos, понял, спасибо, значит напрямую лучше в бд писать, а не через API CMS создавать новые ресурсы с заполнением полей.

[Adamos]

Cheizer, CMS тоже должна иметь возможности массовой вставки, это частая задача.
Просто надо погуглить решение для нее и понимать, как это реализуется реальными запросами к БД.

[Ипатьев]

Adamos, это избыточно. Нужно или INSERT ... VALUES(), (), (), ....();
или START TRANSACTION; INSERT ... VALUES();INSERT ... VALUES();INSERT ... VALUES(); COMMIT;

[Adamos]

Ипатьев, я имел в виду ситуацию, когда и такие INSERT-ы придется разбивать на несколько (у ТС 16 тысяч строчек). Или вставка по итогам разбора идет в несколько таблиц.
Для одного оператора, конечно, транзакция смысла не имеет.

Answer 2

[Виталий Артемьев]

Код:

<?php

$url = 'https://api.sputnik8.com/v1/products?api_key=9bc84ec26f47bf3005dc55434b4b796a&username=[e-mail]';

$data = json_decode(file_get_contents($url), true);
var_dump(MemoryUsage());

function MemoryUsage(): string
{
    $size = memory_get_usage();

    $unit = ['b', 'kb', 'mb', 'gb', 'tb', 'pb'];
    return round($size / pow(1024, ($i = floor(log($size, 1024)))), 2) . ' ' . $unit[$i];
}

Результат:

devilbox@php-8.1.14 in /shared/httpd $ time php large-json.php 
/shared/httpd/large-json.php:6:
string(7) "31.7 mb"

real	0m6.331s
user	0m0.110s
sys	0m0.086s

Потребляет всего 32 мегабайта.
Проблема то в чём?

Comments

[Cheizer]

Цель получаю из массива каждую экскурсию и создаю ее страницу в БД MODX REVO и заполняю TV поля. Какой подход будет правильным для этого?