Как обработать XML более 1 ГБ?

Question

[DYLAN]

В чем суть, есть сайт, на нем over999 элементов в инфоблоке, при выгрузке XML'ка весит почти 2 ГБ, как обработать такого монстра. Понятное дело, что тупо закинуть все это дело SimpleXMLElement и радоваться жизни не получится. Я написал класс, чтобы упростить жизнь машине, суть в чем:
Файл считывается построчно, определяется местоположение блоков, например по тегу <Товар>, сохраняется этот блок в строку, а дальше кидается в SimpleXMLElement. тем самым можно по каждому товару пройтись. Но проблема вот ещё в чем, сами элементы очень жирные, и на тестовой машине обрабатываются невероятно долго, на обработку одного элемента уходит 1-3 секунд.
Есть ли какие-то хитрости по работе с такими большими файлами, или тут просто, тестируй, проверяй, а дальше бери нормальный сервер и радуйся мощностям.

Comments

[Дмитрий]

php.net/manual/ru/language.generators.overview.php
Это поможет память сократить

Answer 1

[Boris Köln]

Если структура простая, то ее лучше поменять на csv и использовать php.net/manual/en/function.fgets.php

Если нужен обязательно xml, то php.net/manual/en/refs.xml.php

Comments

[Дмитрий]

Ещё SplFileObject

Answer 2

[grinat]

Через xmlreader, он по ноде считывает, каждую ноду можешь кидать в SimpleXML и дальше радоваться жизни, пример: biostall.com/import-frickin-huge-xml-files-with-xm...
Если вместо SimpleXML будешь использовать регэкспы, получишь очень сильное ускорение.

Comments

[DYLAN]

у SimpleXML есть ОГРООООООМНАЯ проблема, он кидает исключение, если в строке есть юникод символы типа x0F и т.д.

[Freeman]

DYLAN, походу я угадал с источником данных. :-)

[grinat]

DYLAN, ну обрабатывай через xmlreader вместо SimpleXML у него есть метод evaluate или что-то типа того, который позволяет найти ноду по имени/xpath в ноде на которой курсор.