Как грамотно считать данные с большого XML файла?

Question

[Adik Izat]

Добрый времени суток, форумчане! Столкнулся с проблемой при интеграции товаров из 1С на сайт. Делаем мы так. Программист 1С загружает по ftp всю базу с товарами и предложениями. Файлы относительно большие 60Мб (товары) и 45Мб (предложения). Алгоритм моих действий был таков:
1) через file_get_contents брал xml файлы и считывал XML как строку в переменные;
2) полученные переменные обрабатывал функцией simplexml_load_string(<переменные из шага 1>);
3) полученные объекты превращал в массив с помощью конструкции json_decode(json_encode(<объект из шага 2>), true), именно этот пункт забирает очень много производительности по оперативке.
4) из полученного в шаге 3 массива вытягивал нужные данные циклами и передавал в модель для наполнения базы.
На предыдущих проектах, где товаров было максимум 10000 этот алгоритм работал вполне успешно. Однако в полученном сейчас проекте количество товаров составляет более 30000. При попытке совершить выгрузку, то есть выполнить вышеописанный скрипт, в данном проекте я получаю либо

Fatal error: Out of memory (allocated 137887744) (tried to allocate 20975616 bytes)

, либо ошибку 500/502/504, либо страница тупо висит и не заканчивается (пробовал ждать до 2 часов). Сайт расположен на VDS с 2Гб оперативки. Какое решение можете предложить для обработки больших XML файлов? Пока смотрю в сторону XMLReader, однако используя этот метод, ясно, что код получится полной кашой. Еще один вариант который я держу в голове: считывать два файла отдельно в разных контроллерах, записывать только нужные для себя данные в отдельный файл. А позже линковать товары и предложения по id. Помогите, пожалуйста, добрые люди!)

Comments

[javedimka]

Для общего развития:
https://ru.wikipedia.org/wiki/SAX

[Adik Izat]

javedimka, Спасибо, для дальнейших проектов выучу!

Answer 1

[Adamos]

Обычная проблема. Для больших файлов используется XMLReader, а не SimpleXML.
Он не пытается пережевать весь файл сразу, а читает его построчно.

Comments

[Adik Izat]

Добрый вечер, спасибо за подсказку в какую сторону двигаться. Насколько я понял xml reader читает по принципу <тэг открыт> тэг закрыт>, и все что между, можно поместить в какую либо переменную, обработать, а при следующей итерации XMLReader забывает предыдущую и сама очищает оперативку. Правильно?

[Adamos]

Adik Izat, да, в каждой итерации вы, грубо говоря, находитесь на одной строчке.
Посмотрите документацию, она только выглядит страшной, ничего сложного.

[Adik Izat]

Adamos, извините, можете помочь с доработкой?) $groups считались успешно, а вот $products узлы почему то пустые.

// Чтение файлов через XMLReader и DOM
        $reader = new XMLReader();
        $doc = new DOMDocument;

        if(!$reader->open($mainXmlFilePath)){
            die("Ошибка импорта. Файл с товарами и категориями: Не удалось считать.");
        }

        // Категории
        // перемещение к первому узлу <Группа />
        while ($reader->read() && $reader->name !== 'Группа');

        // убеждаясь, что мы на нужной глубине, перебираем <Группа/> по очереди и читаем до закрытия тэга узла
        while ($reader->name === 'Группа')
        {
            // считываем содержимое узла как SimpleXML DOM объект
            $node = simplexml_import_dom($doc->importNode($reader->expand(), true));

            // преобразуем в массив
            $node = json_decode(json_encode($node), true);

            // добавляем в общий массив
            $groups[] = $node;

            // переходим к следующему узлу <Группа />
            $reader->next('Группа');
        }

        // Товары
        // перемещение к первому узлу <Товар />
        while ($reader->read() && $reader->name !== 'Товар');

        // убеждаясь, что мы на нужной глубине, перебираем <Товар/> по очереди и читаем до закрытия тэга узла
        while ($reader->name === 'Товар')
        {
            // считываем содержимое узла как SimpleXML DOM объект
            $node = simplexml_import_dom($doc->importNode($reader->expand(), true));

            // преобразуем в массив
            $node = json_decode(json_encode($node), true);

            // добавляем в общий массив
            $products[] = $node;

            debug($node);

            // переходим к следующему узлу <Товар />
            $reader->next('Товар');
        }

        $reader->close();

[Adamos]

Оставьте один read() и анализируйте каждое его считывание, а не гоняйте while, пропуская узлы.

Answer 2

[rPman]

3) полученные объекты превращал в массив с помощью конструкции json_decode(json_encode(<объект из шага 2>), true), именно этот пункт забирает очень много производительности по оперативке.

ваша проблема тут!

Зачем вы это делаете? ассоциативные массивы объективно медленнее чем работа с объектами, и даже если надо, всегда можно на конкретном уровне написать (array)$obj и работать с уже массивом полей объекта, так же foreach прекрасно работает с полями объекта как с элементами массива.

p.s. и самое главное, не работайте на сайте с xml, преобразуйте данные в более удобный для php вид, к примеру serialize или даже var_export (делает код php инициализирующий массив, его можно просто include или eval), делайте это в момент загрузки xml файла на сайте админом, а уже при работе с данными подгружайте файл удобным способом.

Ну и классика - данные нужно хранить в базе данных (загружать медленнее но зато работать быстрее всего)