Как оптимизировать вложенные циклы foreach в PHP?

Question

[bkistav]

Здравствуйте.
Возник вопрос по оптимизации вложенных циклов с целью парсинга в БД, данных из XML.

<?php

// читаем XML с районами
$xmlFile = "http://путь-к-XML/Districts";
$xml = simplexml_load_file($xmlFile);
$districts = $xml->Districts->District;

foreach($districts as $val) {
    $districtId = $val['Id'];
    $districtName = $val['Name'];

    // пишем результаты в БД

    /* 
    Читаем XML с городами в каждом районе.
    Для чтения городов, необходимо передать ардесной строке с XML файлом Id района   
    */
    $xmlFile2 = "http://путь-к-XML/Cities".$districtId;
    $xml2 = simplexml_load_file($xmlFile2);
    $cities = $xml2->Cities->City;

    foreach($cities as $val) {
        $cityId = $val['Id'];
        $cityName = $val['Name'];

        // пишем результаты в БД

        /* 
        Читаем XML с улицами в каждом городе.
        Для чтения улиц, необходимо передать ардесной строке с XML файлом Id города   
        */
        $xmlFile3 = "http://путь-к-XML/Cities".$cityId;
        $xml3 = simplexml_load_file($xmlFile3);
        $streets = $xml3->Streets->Street;

        foreach($streets as $val) {
            $streetId = $val['Id'];
            $streetName = $val['Name'];

            // пишем результаты в БД

            // и т.д. вплоть до дома
        }
    }
}

?>

С каждым циклом увеличивается количество итераций, выполняется такой вариант крайне долго и очевидно, что это неэффективное решение. "Коматозить" его начитает уже на 3-м цикле при попытке не то чо бы записать в базу, даже посчитать кол-во улиц.

Вопрос: как можно оптимизировать данный парсер?

Буду признателен за помощь.

Answer 1

[Максим Барулин]

php.net/manual/ru/simplexmlelement.xpath.php

Comments

[bkistav]

У меня simplexml_load_file() который читает xml со стороннего сервиса. simplexmlelement.xpath выдает Exception: String could not be parsed as XML т.к. мой url не воспринимает за строку

[Максим Барулин]

Не совсем понял в чём проблема. simplexml_load_file() возвращает объект класса SimpleXMLElement, с которым и нужно работать. Плюс, избавьтесь от лишних загрузок файлов внутри циклов.
Если позволяет память сначала загрузите данные в переменные, а потом работайте с ними.
Xpath позволяет легко и непринуждённо выдернуть сразу нужные значения из полученного xml, это не избавит вас от необходимости прогружать файлы, но уберет неизбежные циклы по объектам. Т.е алгоритм примерно следующий: получаете xml, через xpath выдёргиваете нужные значения, сохраняете их в массив. Уничтожаете объект за ненадобностью. Работаете с полученными значениями.
Применительно к вашей ситуации. Грузите xml c районами, выдёргиваете из него все id и названия, ансетите xml. Далее циклом прогружаете другие xml, опять же прогрузили, собрали информацию, почистили память. Таким образом каждый xml будет получен только один раз, не будет болтаться в памяти. Далее работаете с полученными массивами. Оптимально будет воспользоваться insert через values как писал выше Дмитрий Миронов

[bkistav]

Максим Барулин: спасибо за помощь и объяснение! Сразу не разобрался что к чему, теперь все стало ясно. смутила реакция simplexml_load_file() на Xpath

Answer 2

[Дмитрий Миронов]

Если возможно, парсить по кускам. Если "пишем результаты в БД" это простой INSERT, то делать его не каждый раз. а вставлять по несколько записей за раз (VALUES), в зависимости от количества данных (попробовать 1000 вставить для начала).

$xmlFile3 = "http://путь-к-XML/Cities".$districtId;

Эта строка два раза повторяется, можно не читать второй раз.

Comments

[bkistav]

это опечатка, поправил.

[bkistav]

насколько я правильно понял: берем foreach($cities as $val) {}(например, или имеющие дальнейшую вложенность) и с помощью while(например) повторяем его 1000 раз, только затем пишем результаты в БД?

[Дмитрий Миронов]

bkistav: Да, все правильно

Answer 3

[Никита]

циклы foreach используют виртуальную копию, можно ускорить процесс как минимум использузуя for. А так же воспользоваться комментарием Максима Барулина )

Comments

[Melkij]

> можно ускорить процесс как минимум использузуя for
или же замедлить. Двусвязный список обходить по связям быстрее, чем искать ключи.
habrahabr.ru/post/216103
И из-за copy-on-write копирования данных не происходит.
И всё это ничего не стоит на фоне network io (http ведь заметили?).

[Тимофей]

Не знаю, поможет или нет, но можно не for, а просто цикл с передачей по ссылке делать типа foreach ($cities as &$val). Но мне кажется, что тут проблема не столько в самом цикле, сколько в том, что файлы по http скачиваются - это ж тоже не самый быстрый процесс