Как работать в php с большим xml?

Question

[goldfox_ru]

Всех приветствую. Есть файл xml с товарами. Размер файла 37 МБ, строк в файле 371к (плюс минус 25к значений). Тобишь в данном файле хранятся товары. Когда я обрабатываю xml и заношу в базу данных - всё данное дело зависает намертво и очень и очень долго грузит. Каким образом лучше реализовать залив в базу данных при таком xml файле?

Comments

[Adamos]

Каждый первый, работающий в РНР с XML, хватается за SimpleXml и не удосуживается дочитать ее документацию до того места, где говорится, что она ни к черту не годится для больших файлов. Там же (на php.net, например) описаны другие варианты работы с XML.

[Александр]

конвертируй xml в csv и используй в sql функцию LOAD DATA - загрузка в БД займет 1 секунду

[Александр]

или же инсерты в БД делай не по одной строчке, а сразу по 20-30 тыс строк в одном sql-запросе.

[goldfox_ru]

Александр, есть готовый csv файл загруженный на сайт, но не получается его вставить в базу данных.

$test = mysqli_query($link, "LOAD DATA LOCAL INFILE 'https://site.ru/assort.csv' REPLACE INTO TABLE test  FIELDS TERMINATED BY ';' LINES TERMINATED BY '\n'");

[Алексей Горбунов]

goldfox_ru, Что-то у Вас немного не совсем локальный путь к файлу. Вам так не кажется?

Answer 1

[imdeveloper]

Вам стоит обратить внимание на yield в PHP. Можете погуглить , что это. Здесь тоже был вопрос. И переделать код используя yield для более точного считывания файла по частям

Answer 2

[Антон Шаманов]

почитай про долгие контроллеры/экшены, если вкратце, то контроллер разбивает задачу на шаги/блоки каждый из которых займет меньше времени чем макс. время выполнения скрипта и потом пошагово обрабатывает файл - ajax/cron запросы к контроллеру повторяются до тех пор, пока не будут выполнены все шаги/блоки.

Answer 3

[AUser0]

Самое простое после использования готового XML-парсера - написать такой парсер самому. Построчно читать файл, структура очень "жесткая", можно справиться даже через substr(), а с preg_match() - так вообще как два пальца... Построчная обработка не займёт память, просто будет много (370 тысяч) INSERT-запросов к базе данных. Или займет, если сделать накопление в буффере по 2-3-5-10-100-1000-10000 запросов...

Comments

[Adamos]

Самое тупое после использования SimpleXml где попало - это самостоятельное написание парсера XML на пыхе.
Сто лет как написаны и отлажены стандартные парсеры! Какие еще, в жопу, велосипеды на регулярках?! Слезьте уже с пальмы тем концом, которым надо...