Как спарсить большой файл с PHP?

Question

[Карлиндоу Мэрлифи]

Привет!
Есть файлик extallor.json
Его масса тела равна 30 МБ
Вот спрашивается, что бы вы сделали, если бы вам надо было это всё распарсить и занести данные в базу? Какие методы, средства использовали бы?

spoiler

alert('капец');

Comments

[Антон Антон]

30 МБ прям простым json_decode можно съесть и вставить в базу простым балк инсертом. Если раз в сто больше - тогда да, думать надо.

Answer 1

[Илья]

Потоковый разбор https://packagist.org/packages/salsify/json-stream...

но вообще, 30мб и правда не так много. Если это конечно не какой-нибудь shared-хостинг и 100мб памяти)

Comments

[Карлиндоу Мэрлифи]

я гуглил, нашёл эту разработку. Но установить не смог,
composer require salsify/json-streaming-parser
не смог я установить её. с composeroм на хостинге траблы

Answer 2

[DevMan]

30 метров – это вообще не размер. и очень далеко от "большой файл".

большинством современных хостов такой файл спокойно обработается банальным json_decode . а если крутите на кофеварке, то потоковый парсер в помощь.

Comments

[Карлиндоу Мэрлифи]

Кручу как раз таки на мощной ракете.
Может быть дело в настройках php?

[FanatPHP]

Какое дело?
Ты как всегда забыл внятно описать проблему

[DevMan]

Карлиндоу Мэрлифи, вполне возможно: например, по дефолту ограничена вложенность. а может в лимиты по памяти или времени упираетесь. а мож ещё чо другое. вариантов - масса.

но зачем гадать, когда можно показать код и описать в чём проблема? а если ещё и файл приложите, то вообще супер.

[Карлиндоу Мэрлифи]

DevMan,

cgi-bin/php.ini

zend_extension = /usr/local/php/cgi/8.0/ioncube.so

[PHP]
engine                            = On
zend.ze1_compatibility_mode       = Off
short_open_tag                    = On
asp_tags                          = Off
precision                         = 14
y2k_compliance                    = On
output_buffering                  = Off
zlib.output_compression           = Off
implicit_flush                    = Off
unserialize_callback_func         =
serialize_precision               = 100
safe_mode                         = Off
safe_mode_gid                     = Off
safe_mode_include_dir             =
safe_mode_exec_dir                =
safe_mode_allowed_env_vars        = PHP_
safe_mode_protected_env_vars      = LD_LIBRARY_PATH
disable_functions                 =
disable_classes                   =
realpath_cache_size               = 64M
expose_php                        = On
max_execution_time                = 600
max_input_time                    = 600
max_input_vars                    = 5000
memory_limit                      = 1024M

error_reporting                   = E_COMPILE_ERROR|E_RECOVERABLE_ERROR|E_ERROR|E_CORE_ERROR
display_errors                    = Off
display_startup_errors            = Off
log_errors                        = Off
log_errors_max_len                = 1024
ignore_repeated_errors            = Off
ignore_repeated_source            = Off
report_memleaks                   = On
track_errors                      = Off
html_errors                       = Off

variables_order                   = "EGPCS"
register_globals                  = Off
register_argc_argv                = On
auto_globals_jit                  = On
post_max_size                     = 4M
magic_quotes_gpc                  = Off
magic_quotes_runtime              = Off
magic_quotes_sybase               = Off
auto_prepend_file                 =
auto_append_file                  =
default_mimetype                  = "text/html"
default_charset                   = 
always_populate_raw_post_data     = On

include_path                      = ".:/usr/share/php"
doc_root                          =
user_dir                          =

enable_dl                         = Off

file_uploads                      = On
upload_tmp_dir                    = /tmp/
upload_max_filesize               = 1M

allow_url_fopen                   = On
allow_url_include                 = On

default_socket_timeout            = 5

sendmail_path                     = "/usr/sbin/sendmail -t -i"

[Date]
date.timezone                     = "Europe/Moscow"


[Syslog]
define_syslog_variables           = Off

[mail function]
SMTP                              = localhost
smtp_port                         = 25

[SQL]
sql.safe_mode                     = Off

[ODBC]
odbc.allow_persistent             = On
odbc.check_persistent             = On
odbc.max_persistent               = -1
odbc.max_links                    = -1
odbc.defaultlrl                   = 4096
odbc.defaultbinmode               = 1

[MySQL]
mysql.allow_persistent            = On
mysql.max_persistent              = -1
mysql.max_links                   = -1
mysql.default_port                =
mysql.default_socket              =
mysql.default_host                =
mysql.default_user                =
mysql.default_password            =
mysql.connect_timeout             = 10
mysql.trace_mode                  = Off

[MySQLi]
mysqli.max_links                  = -1
mysqli.default_port               = 3306
mysqli.default_socket             =
mysqli.default_host               =
mysqli.default_user               =
mysqli.default_pw                 =
mysqli.reconnect                  = On

[bcmath]
bcmath.scale                      = 0

[Session]
session.save_handler              = files
session.save_path                 = "/tmp/php_sess"
session.use_cookies               = 1
session.name                      = PHPSESSID
session.auto_start                = 0
session.cookie_lifetime           = 0
session.cookie_path               = /
session.cookie_domain             =
session.cookie_httponly           =
session.serialize_handler         = php
session.gc_probability            = 1
session.gc_divisor                = 1000000
session.gc_maxlifetime            = 28800
session.bug_compat_42             = 1
session.bug_compat_warn           = 1
session.referer_check             =
session.entropy_length            = 0
session.entropy_file              =
session.cache_limiter             = nocache
session.cache_expire              = 180
session.use_trans_sid             = 0
session.hash_function             = 0
session.hash_bits_per_character   = 4

url_rewriter.tags                 = "a=href,area=href,frame=src,input=src,form=,fieldset="

[mbstring]
mbstring.internal_encoding        = UTF-8
mbstring.func_overload            = 0

[Tidy]
tidy.clean_output                 = Off

[soap]
soap.wsdl_cache_enabled           = 1
soap.wsdl_cache_dir               = /tmp
soap.wsdl_cache_ttl               = 86400

[PHP]
cgi.force_redirect = 1
cgi.fix_pathinfo = 1

[PHP]

; EOF

[FanatPHP]

КОД покажи, горе луковое

[Карлиндоу Мэрлифи]

FanatPHP,

вот код, совсем обычный.

# PHP CODE ...

$url = 'djon.json';
	$ch = curl_init();
	curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
	curl_setopt($ch, CURLOPT_URL, $url);

	$response = curl_exec($ch);
	$data = json_decode($response, true);
	curl_close($ch);

	$count_arrays = count($data);

	for($n = 0; $n < $count_arrays; $n++){
		echo $data[$n]['name'];
	}

Массивов около 15 тысяч

[DevMan]

Карлиндоу Мэрлифи, а в чем проблема надо угадать самим, да?

[DevMan]

Карлиндоу Мэрлифи, и может файл приложите? или хотя бы часть его?

[Карлиндоу Мэрлифи]

DevMan, проблема в том, что пыха не парсит это дело. После нескольких минут ожиданий
504 GATEWAY TIME OUT NGINX

[DevMan]

Карлиндоу Мэрлифи, эмм.... зачем для этого nginx?
тяжёлые задачи запускаются либо в фоне, либо вообще в cli.

а nginx нужен только для получения уже готовых результатов.

[DevMan]

Карлиндоу Мэрлифи, парсить любые файлы больше нескольких МБ в риалтайме - отвратная идея.

[Карлиндоу Мэрлифи]

DevMan, понятно

Answer 3

[Надим]

Просто вынесите задачу на фронт. Создайте небольшую html-страничу, внутри нее кнопку. При нажатии на кнопку, вы скачивайте ваш JSON и парсите его. После парсинга по одному перебирайте ключи первого уровня вложенности и fetch-ем по одному отсылайте данные на сервер, чтобы он из сохранил у себя. Отсылайте по одному и строго один за другим, чтобы не перегружать ваш бэкенд и так, чтобы каждый очередной запрос с гарантией успевал отработать за 60 сек.

Comments

[Надим]

Uneasy Hearts Weigh the Most, я бы сам банально запустил парсинг в консоли, там нет ограничений на время выполнения php-скриптов. Однако, если подобной возможности нет, то описанной мной способ наиболее простой - съесть слона по кусочкам. Кстати, экспорт товаров в движках интернет-магазинов обычно так и делается - по кусочкам, чтобы php-скрипты успевали отработать куски до наступления таймаута.

[Денис Юрьев]

я наконец то нашел одного из представителя тех самых меньшинтсв, из-за которых все чаще появляются сайты, при посещении которых телефон становится горячим. умерьте пыл, вам дай шанс - вы вообще всю логику на фронт вынесете.

[DevMan]

Денис Юрьев, в логике на фронте ничего плохо нет. вопрос только в реализации.

Надим Закиров более бредового варианта придумать не вышло?

[Денис Юрьев]

DevMan, логика на фронте прекрасна, пока ее перенос с бека ускоряет фронт, а не замедляет, тем более на бюджетных устройствах.

[DevMan]

Денис Юрьев, так я ж и говорю - дело в реализации.

[Надим]

DevMan, а что плохого? Например, когда мне надо было написать плагин импорта дохреналлиона картинок, я использовал описанный подход. Просить юзера добавить задачу в крон или лезть в консоль - плохая идея. Юзеру тупо надо чтобы он установил плагин через админку сайта и все работало. Поэтому съесть слона по кусочкам (грузить картинки по одному инициируя куски задач с фронта) самая хорошая идея.

Единственное, где я коскнул в своем ответе это то, что предлагаю JSON разбирать во фронте, ведь в принципе это тоже можно вынести на бэкенд, просто непосредственно импорт в БД надо разбить на мелкие кусочки.

[DevMan]

Надим Закиров, да кагбе всё плохо: начиная от непонимания проблемы и заканчивая подходом, очень далёким от оптимальности.

[Надим]

DevMan, ну а ваше решение какое? Это сейчас у юзера вполне умеренные 30 метров, которые легко можно импортировать за один подход практически на любом хостинге. Но что делать, если будет 100, 200 или даже 5000 мегабайт?

[DevMan]

Надим Закиров,

ну а ваше решение какое?

мое решение описано в моем ответе.

Но что делать, если будет 100, 200 или даже 5000 мегабайт?

использовать потоковые парсеры.

Не проще ли контролировать нагрузку запросами с фронта?

не проще: мало того, что вы грузите фронт вообще не его задачами, так вы еще и сервер бомбите запросами.

[Надим]

DevMan, опять же потоковый парсер получится эффективно использовать только если нет таймаута.

[DevMan]

Надим Закиров, это разговор слепого с глухонемым.
а если браузер зависнет?
а если сервер зависнет?
а если сеть отвалится?

[Надим]

DevMan, если браузер и/или сервер зависнет, то потом когда юзер повторно зайдет, то импорт продолжится с того же места, где все прервалось (если логику правильную сделать, ведь мы кусками все импортируем). Аналогично и с отвалом сети.

[DevMan]

Надим Закиров, тоже и с таймаутом для потокового парсера.

[Надим]

DevMan, ну тогда это фактически тоже самое получается, просто потоковый парсер мы запускаем через консоль, а мой вариант через браузер - в обеих случаях обработка будет постепенная, разница лишь в способе запуска.

[DevMan]

Надим Закиров, да, она будет постепенной.
разница в том, что ваш вариант предполагает загрузку по сети всего файла (возьмём ваши же 5000), его процессинг и при факапах повторение того же самого (не учитывая, что по вашему варианту будет полно ненужных сетевых запросов).
а мой вариант работает на сервере и берёт файл с сервера, и вообще никак не трогает ни сеть вообще, ни браузер у клиента.
разницу не наблюдаете?

[Надим]

DevMan, да, в этом плане ваш вариант лучше, но мой вариант будет работать на любом php-хостинге. Наверное имеет смысл объединить потоковый парсер на сервере и его циклический запуск с фронта. Это если делать не для себя, а для всех, чтобы остальным было удобно запускать и видеть при этом прогресс импорта. Если чисто для себя, то тогда уже плевать, можно просто через консоль.

[DevMan]

Надим Закиров, мой вариант тож будет работать на любом хостинге: нет вариант пользовать консоль напрямую, используйте крон.

незачем грузить фронт тем, что ему вообще не нужно. и при этом плодить еще кучу запросов на сервер.
что может быть обработано только на сервере, должно быть обработано только там.
это аксиома.
или вы желаете иметь клиентов, у которых страница будет грузиться десятками секунд или минутами?

[Надим]

DevMan, страница грузится сразу, а далее там банально крутится индикатор прогресса импорта. Или вы про то, что другие пользователи не смогут использовать в это время сайтом? Так это ни чем не отличается от запуска в консоли или через крон - ресурсы на хостинг-аккаунте одинаковые и мотают счетчик процессорного времени одинаково, не важно как ты запускаешь скрипт. Доп. нагрузкой создаваемой пост-запросами каждые 30 сек. можно пренебречь, это просто мизер для любого хостинга.

P. S. Крон не везде есть, как и консоль. Например у бегет есть бесплатной php-хостинг, только там нет крона и доступа к консоли.

[DevMan]

Надим Закиров, и сколько же времени потребуется для загрузки в браузер 30мб?
а 300?
а 3000?
а 5000?

а на сервере он уже есть. неужели это не очевидно?

Доп. нагрузкой создаваемой пост-запросами каждые 30 сек. можно пренебречь, это просто мизер для любого хостинга.

рили?
вы считаете что несколько десятков или дестяков тысяч запросов на сервер, когда можно без них – это норм?
особенно, когда сервер должен еще что–то делать?

[Надим]

DevMan, воу-воу полегче. Я же признал выше, что фронт грузить парсингом не обязательно. Фронт просто будет инициировать периодический запуск php-скрипта, который по кускам парсит json с сервера и раскладывает по таблицам в БД.

[DevMan]

Надим Закиров, и в итоге мы приходим к потоковому парсеру.
поздравляю: вы решили элементарную задачу, но решили еще прикрутить к ней фронт.

[DevMan]

Надим Закиров, вам вообще известно, что в клишном пыхе единственное ограничение – память? по времени код может колбаситься хоть неделю.

[Надим]

DevMan, фронт нужен для удобства использования, как вы не понимайте. Если вот это решение по импорту оформлять в виде модуля к какому-нибудь CMS, то запуск через консоль или крон неприемлема.

[DevMan]

Надим Закиров, она отлично приемлема: отправить с фронта задание бэку.
всё на этом. остальным рулит только и исключительно бэк.
фронту остаётся только периодически спрашивать бэк "готово ли".

и это очень далеко от вашего ответа.

[Надим]

DevMan, хорошо. Возьмём ситуацию, когда некий плагин установленный на неком php-движке и на неизвестном хостинге хочет что-то импортировать в БД. Каким образом это плагин сможет создать задачу в кроне на неизвестном хостинге, при этом не заебывая пользователя, что бы тот вручную добавил задачу? Так как хостинг неизвестный, у нас время выполнения скриптов может быть ограничено и скорее-всего ограничено хостером. И не факт, что есть доступ к консоли.

[DevMan]

Надим Закиров, это зависит от движка.
некоторые вообще не имеют подобного функционала, некоторые посредством собственного апи позволяют поставить задачу в фон/очередь и/или в крон.
этот разговор без конкретики – вообще ни о чём.

более того, на среднестатистическом хостинге "не заебывая пользователя" не получится загрузить большой файл. а на некоторых - это тупо невозможно.

[Надим]

DevMan, очень даже возможно. Если бы мне дали дрыщевый хостинг, который едва тянет сайт, я бы все равно смог загрузить туда файл любого объема, банально пересылая и собирая его по кускам. Ладно, не вижу смысла спорить. Как бы вы не убеждали меня, но внести инициатор импорта на фронт - хорошо. Если кто-то заказывает у меня граббер для сайта, всегда так делаю и буду делать.

[DevMan]

Надим Закиров, я бы тоже смог. но это не вяжется с вашим же "не заебывая пользователя".
а если вы сами это делаете, то и консоль можно попользовать и в крон закинуть.

короче: не знать/уметь чего–либо – абсолютно нормально. но отстаивать свое незнание – за пределами моего понимания.

[Надим]

DevMan, я не незнание отстаивают, например про то, что существуют потоковые парсеры JSON я не знал и в будущем буду их использовать. Я отстаиваю прежде всего удобство. В один клик воткнуть плагин на сайт и также в один клик начать импорт - это удобно, не надо конечному пользователю объяснять про консоль и крон, все будет работать сразу-сходу, только кнопку нажми.

[DevMan]

Надим Закиров, это все можно сделать и с потоковым парсером и в один клик в плагине.

[Надим]

DevMan, как, если плагин не имеет доступа к консоли и крону?

[DevMan]

Надим Закиров, дело тут совсем не в ни "как", а в том, что вы из последних сил пытаетесь найти оправдание своим потугам.

в практически любом современном популярном движке, есть функционал добавления собственных задач в крон.
а где-то даже есть очереди.

а если вам реально захотелось упороться и заявлять "юзер вообще тупой", то спешу заявит - такому юзеру не то что такие файлы нужны, а он даже не сможет их загрузить.

поспешите ему на помощь? читаем комментарии выше.

[Надим]

DevMan, без сомнения есть такой функционал в популярный движках, например для Joomla доступен такой компонент: https://www.joomfox.org/joomla-extensions/administ...
Однако они все работают на подсосе от посетителей.

[DevMan]

Надим Закиров, какая глубокая мысль. жаль только непонятно о чем и к чему она.