Как ускорить парсинг json с большой вложенностью?

Question

[g905]

Есть json размером ~12мб. И в нем 5 уровней вложенности.
Город
-Жилищный комплекс
--Дом
---Подъезд
----Квартира
Файлик забирается по фтп и парсится в БД. Парсится довольно топорно - foreach на каждый уровень вложенности. Занимает это порядка 10 минут.
Как можно ускорить парсинг? Любые способы, например написать парсер на Си. Или запустить параллельно несколько foreach? Какие еще есть способы-хитрости? Более-менее полезного не удалось нагуглить. Спасибо.

Comments

[sim3x]

А зачем foreach там вообще?

[Meled]

sim3x, 12 mb не такой уж и большой размер, я думаю там проблема в реализации.

[sim3x]

Meled, что не отвечает на вопрос - зачем там forech

[g905]

sim3x, то есть да, джейсон превращается в массив, по массиву форич уже

[sim3x]

g905,
Если субд нормальная, то апдейты в одной транзакции сильно ускорят процесс

А так - сказать сложно, что там так долго происходит

[Александр Аксентьев]

Как ускорить код который вы не выложили?

Может у вас там sleep(1); в каждой итерации происходит.

Проблема не в большом json, а в коде который его обрабатывает.

[g905]

Александр Аксентьев, Там тысячи квартир. По каждомоу объекту, комплексу, городу и т.д. много свойств, sleepов нет. Техническая реализация нормальная, все работает. Там проблемы нет. Нужна именно какая-нибудь хитрость, чтобы все ускорить

[g905]

sim3x, о, объединение в транзакции это уже что-то. Погуглю на эту тему, спасибо.

[Meled]

g905, новое железо!

[Александр Аксентьев]

g905,

Техническая реализация нормальная, все работает

работает != нормальный код

Там тысячи квартир. По каждомоу объекту, комплексу, городу и т.д. много свойств, sleepов нет.

ну так оно и обрабатывается соответствующе наверно количеству, если бы были хитрости чтобы ускорить любой код, то не стали бы придумывать какие-то майскуэли, бигдаты и хадупы.

Есть одна хитрость - снимаете дамп xdebug(или какой-нибудь blackfire.io) и смотрите что именно долго выполняется - фиксите(если возможно).

[g905]

Александр Аксентьев, спасибо.
Вот код сюда выложил
,тостер не пропускает.

[Александр Аксентьев]

g905, ну вот там сходу самая простая "ошибка"

Не надо запиливать SQL запросы в цикле.

Собирайте отдельный массив и когда набирается N количество записей -> массово заливайте в базу.
N количество зависит от доступной для php памяти, чтобы не было крашей из-за того что память кончилась.

И на выходе при импорте 5000 записей с записью каждые 1000, вы сделаете например 5 больших запросов по 1000 за раз, а не 5000 отдельным insert запросов.

[g905]

Александр Аксентьев, понял, спасибо