Всех приветствую. Есть файл xml с товарами. Размер файла 37 МБ, строк в файле 371к (плюс минус 25к значений). Тобишь в данном файле хранятся товары. Когда я обрабатываю xml и заношу в базу данных - всё данное дело зависает намертво и очень и очень долго грузит. Каким образом лучше реализовать залив в базу данных при таком xml файле?
Каждый первый, работающий в РНР с XML, хватается за SimpleXml и не удосуживается дочитать ее документацию до того места, где говорится, что она ни к черту не годится для больших файлов. Там же (на php.net, например) описаны другие варианты работы с XML.
Александр, есть готовый csv файл загруженный на сайт, но не получается его вставить в базу данных.
$test = mysqli_query($link, "LOAD DATA LOCAL INFILE 'https://site.ru/assort.csv' REPLACE INTO TABLE test FIELDS TERMINATED BY ';' LINES TERMINATED BY '\n'");
Вам стоит обратить внимание на yield в PHP. Можете погуглить , что это. Здесь тоже был вопрос. И переделать код используя yield для более точного считывания файла по частям
почитай про долгие контроллеры/экшены, если вкратце, то контроллер разбивает задачу на шаги/блоки каждый из которых займет меньше времени чем макс. время выполнения скрипта и потом пошагово обрабатывает файл - ajax/cron запросы к контроллеру повторяются до тех пор, пока не будут выполнены все шаги/блоки.
Чем больше знаю, тем лучше понимаю, как мало знаю.
Самое простое после использования готового XML-парсера - написать такой парсер самому. Построчно читать файл, структура очень "жесткая", можно справиться даже через substr(), а с preg_match() - так вообще как два пальца... Построчная обработка не займёт память, просто будет много (370 тысяч) INSERT-запросов к базе данных. Или займет, если сделать накопление в буффере по 2-3-5-10-100-1000-10000 запросов...
Самое тупое после использования SimpleXml где попало - это самостоятельное написание парсера XML на пыхе.
Сто лет как написаны и отлажены стандартные парсеры! Какие еще, в жопу, велосипеды на регулярках?! Слезьте уже с пальмы тем концом, которым надо...
