Как переместится на n-ную запись в большом xml при помощи XMLReader?

Question

[Слава]

файл xml имеет большой размер и обычные способы (simple_xml) и другие, которые загружают xml сразу в памят не справляются.

В данном случае интересует как перемещаться внутри xml файла сразу на какую-нибудь по номеру запись используя XMLReader?

Например, открыл файл, считал данные по 100 000 товарам последовательно, добавил их в базу, а на следующий день хочеш запустить скрипт, чтоб он прошелся уже по 100 000 следующих товаров.

Нигде не нашел как это реализовать.

Предположем структура очень простая:

<products>
  <product>Товар 1</product>
  <product>Товар 2</product>
  <product>Товар 3</product>
  <product>Товар 4</product>
.....
</products>

Comments

[Ипатьев]

а в чем смысл этих хаотичных телодвижений? зачем куда-то перемещаться?
что за странные идеи читать по 100 записей в день?
почему нельзя прочитать сразу все?

[Слава]

Ипатьев, ну это уже другой вопрос. А суть в том - мне нужно знать как переместиться на нужную запись. Например, если хочу запустить сразу несколько скриптов, которые бы каждый свою порцию парсил.

Answer 1

[Rsa97]

Один раз пройтись по большому файлу и разбить его на маленькие с нужным количеством товаров в каждом. Читать через XMLReader, записывать через XMLWriter с периодическим flush.

Comments

[Ипатьев]

а зачем разбивать-то? :)

[Rsa97]

Ипатьев, А чтобы на сотый день не искать в файле 10000000-ю запись, а сразу открыть сотый файл :)

[Слава]

решение имеет право на жизнь. Но неужели невозможно сразу как то переместиться?

[Ипатьев]

Мне просто кажется очень странной сама идея читать файл в несколько заходов.
Тем более что в исходной Х задаче ничего такого не было, а только падение по памяти.
А в Y вдруг откуда-то взялась идея читать по дням, как часослов какой-нибудь.

[Слава]

Ипатьев, посмотрите на это с другой сторонгы. мы можем взять несколько копий этого файла, расположить на разных серверах и запускать несколько скриптов чтоб в итоге они вместе собрали всю инфу гораздо быстрее, чем по одному с начала файла до конца.

[Ипатьев]

Ну ок, согласен, для параллельности имеет смысл.
Хотя вам там ниже правильно пишут, что по уму тогда надо делать через очереди, и параллельность организовывать уже на их функционале.

[Слава]

Ипатьев, да. но это уже другая часть проблемы. Узким местом пока является увеличение скорости извлечения данных, а это можно достигнуть только если запустить несколько процессов одновременно.

[Ипатьев]

Вы это серьезно сейчас? Узким местом является не обработка читаемых данных, а именно чтение?
И с какой скоростью у вас сейчас XMLReader читает строки?

[Слава]

Ипатьев, и то, и другое является узкими местами. И Чтение, и последующая обработка. поэтому многопоточный парсинг нужен обязательно.

Answer 2

[iljaGolubev]

В php XMLReader нет возможности перейти на произвольную строку. При каждом запуске чтение начинается с начала файла. Значит нужно читать последовательно до того продукта на котором закончилась прошлая обработка.

//Псевдокод. не проверял.

$lastProductIndex=100000;
// сначала нужно дочитать до <products>
// потом перебирать <product>
while($xmlReader->next("product") && --$lastProductIndex) {
    // skip
}
if($lastProductIndex==0){
    // тут последний обработанный прошлый раз
}else{
    // продуктов стало меньше? 
}

Comments

[iljaGolubev]

в общем, ответ конкретно на заданный вопрос.
Но ваш подход - так себе. Используйте брокер очередей.
Одно чтение файла для добавления всех продуктов в очередь обработки.
Потом про файл забыли и обрабатываете продукты из очереди пока не кончатся.

[Слава]

iljaGolubev, про брокер - да. есть такое. Но многопоточное считывание ведь еще возможно. допустим в файле 10 миллионов записей. мы запускаем 100 скриптов на разных серверах и каждый считывает по 100 000 записей из файла. Быстрее ведь будет.

[iljaGolubev]

допустим в файле 10 миллионов записей.

вы гипотетически что ли спрашиваете? на практике - не нужно так делать. хранить такие объёмы в xml - ну, как минимум, "несовременно".

[Слава]

iljaGolubev, когда работаешь в гос. структуре, никто не спрашивает... приходится работать с тем, что есть.