Как разделить большой файл xml?

Question

[Владимир Кохан]

Имеется файл XML, в нем около 35.000 записей. Нужно залить его в БД. На локальном сервере работает, на реальном хостинге нет. ВОзможности изменять параметры хостинга нет. Решил разбить на несколько файло по 20.000 записей, а потом по очереди залить в БД. Полученный код такой:

$data = new \SimpleXMLElement($request->file('feed'), null, true);

        $json = json_encode($data);
        $data = json_decode($json);

        $strings = count($data->offer); //Общее количество строк (в имеющемся файле их 34.493)
        $countString = 20000; // Количество записываемых в файл строк 
        $countFiles = intval($strings / $countString); // Целочисленное значение количества получаемых файлов
        $ostatok = $strings % $countString; // дробное число строк, оставшееся от деления

        $xml = new \SimpleXMLElement("<?xml version=\"1.0\" encoding=\"UTF-8\"?><Ads/>");

        //Создаем файл
        for($key = 0; $key < $countFiles; $key++) {
            // Записываем в него данные
            for ($i = 0; $i < $countString; $i++) {
                $item = $data->offer[$i];
                $offer = $xml->addChild('offer');
                $offer->addChild('type', $item->type);
            }
            //Сохраняем на диск
            $dom = new \DOMDocument('1.0');
            $dom->preserveWhiteSpace = false;
            $dom->formatOutput = true;
            $dom->loadXML($xml->asXML());

            $dom->save('files/feed'.$key.'.xml');
        }

Результатом исполнения сего шедевра стало получение двух файлов. В первом было записано 20.000 строк, во втором было записано два раза по 20.000 строк.

Вопрос такой - после записи строк в первый файл нужно из массива $data их удалить, а оставшиеся записать во второй файл. Как это сделать?

Спасибо

Answer 1

[Анатолий Медведев]

Имеется файл XML, в нем около 35.000 записей. Нужно залить его в БД.... Решил разбить на несколько файло по 20.000 записей, а потом по очереди залить в БД.

Не пилите костыли php.net/manual/ru/class.xmlreader.php

Comments

[Владимир Кохан]

Если вы имеете в виду использование xmlreader для заливки в бд, то я пробовал, на хостинге не проходит

[Анатолий Медведев]

Владимир Кохан, что не проходит? по памяти? ну значит вы что то не так делаете. Это потоковый парсер, он позволяет не грузить файл в память целиком.

[Владимир Кохан]

Может и не так, но на локалке МАМР все проходило, а на хостинге нет. Если не затруднит, покажите, как надо.

[Анатолий Медведев]

Владимир Кохан, а почему бы не погуглить например. Вот простой пример https://www.skptricks.com/2018/04/php-xml-reader-e...

[Adamos]

Владимир Кохан, должна быть обратная ситуация: с большим файлом SimpleXML сжирает всю память и валит скрипт. А XmlReader как раз работает где угодно... если разобраться, как он работает вообще. Скорее всего, проблема именно с этим.

[Владимир Кохан]

Анатолий Медведев, спасибо за пример. Подобный я и использовал.
В общем попробовал я этот и получилось то, что и раньше - на локальном работает отлично, но хостинге нет. Только когда я уменьшил исходный файл, все получилось. В итоге, после уменьшения файла, удалось залить только ~ 2000 записей из 34493. При этом хостинг VPS.
Выходит, тупит хостинг?

[Владимир Кохан]

Анатолий Медведев, поправка. Не работает и на локальном. Я пробовал работу скрипта с загрузкой одного первого поля

Data::insert([
                    'type'           => $node->type,
]);

Так нормально. Но мне нужно заполнить 16 полей - и вот тут затык. Не хватает времени и памяти.

Есть у меня такой вариант скрипта:

$dataToInsert=[];
        $strings = 0;

        for ($i=0; $i<count($data->offer); $i++) {

            $item=$data->offer[$i];

            $dataToInsert[$strings]=[
                'type'           => $item->type,
                'property-type'  => $item->{'property-type'},
                'category'       => $item->category,
                'url'            => $item->url,
                'country'        => $item->location->country,
                'locality-name'  => $item->location->{'locality-name'},
                'address'        => $item->location->address,
                'price-value'    => $item->price->value,
                'price-currency' => $item->price->currency,
                'organization'   => $item->{'sales-agent'}->organization,
                'floor'          => $item->floor,
                'area-value'     => $item->area->value,
                'area-unit'      => $item->area->unit,
                'building-name'  => $item->{'building-name'},
                'image'          => $item->image,
                'feed_id' => $feed_id,
            ];

            $strings++;
            if($strings == 400){

                Data::insert($dataToInsert);
                $strings = 0;
                $dataToInsert = [];
            }
        }
        Data::insert($dataToInsert);

Этот вообще на локалке заливает за 7 секунд, а вот на хостинге не прокатывает.

[Анатолий Медведев]

Владимир Кохан, грузите меньшими порциями и запускать скрипт нужно не через обращение через по http, а через cli что бы ограничений на время работы не было.

[Владимир Кохан]

Анатолий Медведев, для загрузки меньшими порциями как раз и используется мой скрипт. Грузит по 400 строк. Но и он не помогает. Поэтому я и хотел сначала разделить на несколько файлов, а потом по очереди их заливать.

[Анатолий Медведев]

Владимир Кохан, ну так используйте php.net/manual/ru/class.xmlreader.php что бы читать потоково файл, а не пытаться всё сразу съесть делая $data = new \SimpleXMLElement($request->file('feed'), null, true);

[Владимир Кохан]

Да я пытался сделать это, не получилось. Может, если будет время и желание, напишете?