API прочитать большой JSON файл?

Question

[Кирилл Горелов]

Есть агенство недвижимости, оно отдает список квартир в файле json. А там 17 тысяч объектов. Я скачал файл, посмотрел размер 60мб. И не много и не мало.....
И проблема как его прочитать. file_get_contents не канает ....
Пробовал поставить эту библиотеку pcrov/jsonreader и вот эту bcncommerce/json-stream
Все равно, есть проблемы, иногда отваливается. Хостинг у клиента не самый мощный. Ребята править файл вывода квартир, ради нас не будут, приходиться работать с тем, что есть.

Как лучше, скачивать файл к себе и пробовать его читать или все же в запросе его пытаться прочитать......

Comments

[FanatPHP]

в каком смысле "не канает"?
что такое "в запросе его прочитать"?
с каких пор 60Мб - это "большой" файл?
почему не написано, какие конкретно проблемы?

[Кирилл Горелов]

FanatPHP, file_get_contents('https://site.ru/file.json')

Оно читает, но падает, потому что file_get_contents читает весь файл, все 60мб и у нас отваливается запрос, отдает 504 ошибку ....

[Илья]

Кирилл Горелов, оперативки-то сколько на сервере? и в memory_limit у php что установлено?

[FanatPHP]

А ПОЧЕМУ вы парсите джейсон по НТТР запросу?
Кто вообще так делает - при запросе страницы своего сайта, запрашивать чужой, да ещё и с таким объемом информации?

Вы на каждый пользовательский запрос что ли этот файл тягаете?!

[Кирилл Горелов]

Илья, проблема в том, что у клиента не сервер, а хостинг.....

А из-за того, что хостинг, memory_limit я упустил .....
А так, показывает в phpinfo 512М

[Кирилл Горелов]

FanatPHP, оно по крону работает ....
Раз в сутки

Но я кажется понял, как исправить...

$headers = array(
   "Accept: application/json",
);
curl_setopt($curl, CURLOPT_HTTPHEADER, $headers);

[FanatPHP]

а если по крону, то при чем здесь "у вас отваливается с 504"?
или скачивание файла отваливается по 504? Ну так это проблема не вашего file_get_contents, а того сервера, с которого скачиваете.

И что за странные идеи про "file_get_contents читает весь файл"? Ну а как вы хотели-то? Чтобы распарсить файл, его надо как-бы сначала скачать к себе. Весь.

Answer 1

[Кирилл Горелов]

Парни N FanatPHP Илья
Решил свою задачу, вот решил написать и всем может кому пригодиться.

Решение: Я скачал к себе это файл, дальше нашел эту библиотеку https://github.com/salsify/jsonstreamingparser
Читает на отлично, по крайней мере мой файл прочитала мгновенно. file_get_contents не потянул даже на моем ноуте ...

Answer 2

[N]

Если скачать файл и "положить" локально на сервер, то file_get_contents 99.9% справится с этой задачей...

Тогда, как вариант:

1. На крон вешаем команду wget, например, раз в сутки или сколько там Вам надо:

wget -P /save/to/folder/file.json http://site.ru/file.json

2. Далее по Вашей текущей схеме через file_get_contents, но с файлом сохранённым локально на сервере...

Comments

[FanatPHP]

Вообще, если там 504, то вгет тоже не спасет.
Хотя он умеет начинать заново.

Тут надо скорее пинать этих дятлов с квартирами. Вполне могут генерить файл на лету, а не по крону.
У нас был один такой контрагент, крупный банк причем. Я им писал, чтобы проверили телефонную линию, а то модем, через который их веб-сервер подключен к интернету, не справляется с нагрузкой.

[N]

FanatPHP, Да, тут спору нет. Тоже встречались "такие"...

Мне кажется, что 504 именно у автора вопроса, а не на целевом сервере...

[FanatPHP]

ну вот я тоже так думал, но он говорит - по крону
а тогда 504 может быть только в контексте исходного сервера

[N]

FanatPHP, Ну тут тогда нужно сначала точно это определить...ну там лог файл какой-нить завести...

И, если дело реально на "той стороне", то:

Тут надо скорее пинать этих дятлов с квартирами. Вполне могут генерить файл на лету, а не по крону.
У нас был один такой контрагент, крупный банк причем. Я им писал, чтобы проверили телефонную линию, а то модем, через который их веб-сервер подключен к интернету, не справляется с нагрузкой.