Как закрыть/выгрузить из памяти данные XMLReader()?

Question

[Крил]

Есть парсер - вот кусочек чтоб было понятно что нужно выгрузить

$strnSQL = "SELECT * FROM _posts";	
$rn = mysql_query($strnSQL);
while($rown = mysql_fetch_array($rn)){
	
		$nxml = new XMLReader();
		$nxml->open('../xml/import.xml'); // начинает нехватать памяти
			while($nxml->read() && $nxml->name !== 'offer');
				while($nxml->name === 'offer'){
					$n_node = new SimpleXMLElement($nxml->readOuterXML());
					$n_id = "" . $nxml->getAttribute("id");							

					$nxml->next('offer');
				}			
		$nxml->close();
		unset($nxml);
	}

всё это дело естественно имеет много интераций и через некоторое время заканчивается память.
Я пока не умею нормально работать с памятью и понимать что там за процессы происходят но чувствую что $nxml хоть и перезаписывает сам себя и стоит unset($nxml); но память не освобождается.
Как сделать чтоб на каждом круге полностью сбрасывалась оперативная память которая была занята открытым файлом?
Выход примерно такой но как перемещаться в начало?

$rn = mysql_query($strnSQL);

		$nxml = new XMLReader();
		$nxml->open('../xml/import.xml');
		
while($rown = mysql_fetch_array($rn)){
	
			#$nxml->moveToFirstAttribute(); как заставить эту штуку работать чтоб чтение начиналось сначала 
			while($nxml->read() && $nxml->name !== 'offer');
				while($nxml->name === 'offer'){
					$n_node = new SimpleXMLElement($nxml->readOuterXML());
					$n_id = "" . $nxml->getAttribute("id");					

					$nxml->next('offer');
				}
}

Answer 1

[Александр N++]

Не знаю зачем вам перемещаться назад, если вам нужно прочитать XML

Я XmlReader+SimpleXML читал YML яндекса по 1-2гб.

Comments

[Крил]

У меня уже готовый скрипт и переписывать некогда, затыки только на больших файлах слабых серверах. На локалке я и 5 гб смогу не только прочитать, но и расфасовать данные.
Вопрос то был о том как один раз отрыть xml и потом читать его как вперёд так и назад.

[Fortop]

80689248440: вы, пожалуйста, внимательно перечитайте тему вопроса
"читать его как вперёд так и назад." там отсутствует.

[Крил]

Fortop: мне подойдёт любое решение - на загружать память или очищать её.
При написании вопроса мог выразиться не точно, извините

[Александр N++]

Вам приведется переписать

/**
 * @return \SimpleXMLElement
 */
protrected function getSimpleXMLInstance()
{
	$doc = new DOMDocument('1.0', 'UTF-8');
	return simplexml_import_dom($doc->importNode($this->xml_reader->expand(), true));
}

//...


$this->xml_reader = new XMLReader();
$this->xml_reader->open($path);

while ($reader->read())
{

	if($reader->nodeType == XMLReader::ELEMENT && $reader->name == 'offer1111')
	{
		//... тут другая функция для разбора нужного вам элемента
	}
	
	
	if ($reader->nodeType == XMLReader::ELEMENT && $reader->name == 'offer')
	{
		try
		{
			$this->parseOffers()
		}
		catch (\Exception $e)
		{
			continue;
		}
	}
}

....
protrected function parseOffers($reader)
{
	$xml     = $this->getSimpleXMLInstance();
	/// тут разберите каждый offer отдельно
}

Назад XmlReader незачем двигать если можно эти данные на этапе прочитать
XmlReader работает так

Идет по дереву видит уровень заглядывает в уровень вглубь до полуследнего уровня, дальше XmlReader сам выходит из этой глубины уровней и берется за следующий Node элемент и снова спускается в глубину пока не упрется, и так продолжается пока документ не будет прочтен.

Хватает 1 цикла как я привел выше.

У меня утечка была в Laravel4 на Mysql в логах запросах, после отключения логов, скрипт стабильно парсил большие xml удаленно скачивая файл и потреблял скромно 17-24мб.

[Александр N++]

while($nxml->read() ) {
//Xml Reader сам вернется на след Node просто он встречает глубину уровней и заглядывает туда как любопытный ребенок. После просмотра вложенности он смотрит след Node и снова заглядывает, след Ноде и заглядывает, такой заглядун получается
}
Выше в комментах, я немного ошибся тут protrected function parseOffers($reader)
Должно быть так
protected function parseOffers()

Я сперва без ООП пытался выдернуть участки кода, но не трезвый рассудок победил.

[Крил]

Александр N++: тоесть заглядуна достаточно просто послать на уровень выше чтоб он заглядывать стал раньше?
while($nxml->read() && $nxml->name !== 'offers'); //offers или любой уровень выше offer
?

[Александр N++]

зачем его посылать если он сам в цикле за вас это сделает смотрите пример кода.

Я специально сделал 2 условия.

Answer 2

[Fortop]

Для начала нужно определиться с тем, кто кушает память.

Поэтому прописываем запись в лог memory_get_usage() в конце каждого из циклов с указанием для какого именно цикла эта информация.

Затем, после падения, анализируем лог и смотрим, кто даёт утечку.

Comments

[Крил]

Так всё и так понятно. Делаем 1000 интераций открытия xml и $nxml->open('../xml/import.xml'); уже не помещается в память, помогает принудительный вызов мусощика на каждой интерации, но это замедляет работу.
Вопрос то был о том как один раз отрыть xml и потом читать его как вперёд так и назад.
Во втором приведённом коде видно что я пытаюсь вынести открытие из цикла, но в цикле я не могу продолжить чтение сначала.

[Fortop]

80689248440: и все же? Что говорят реальные замеры?

Что касается чтения с начала, то используйте другие функции.
Например, php.net/manual/en/class.simplexmliterator.php

Answer 3

[Крил]

Решение кроется в том чтоб мне вернуться на начало документа так как в
while($nxml->read() && $nxml->name !== 'offer');
Мы опускаемся всё ниже и ниже, а вот как вернуть курсор на начало документа не знаю способа кроме как открыть его заново.
Пробовал:

moveToAttribute
moveToAttributeNo
moveToAttributeNs
moveToElement
moveToFirstAttribute