Как запарсить больше 200 xml файлов?

Question

[Vadim997]

Необходимо запарсить больше 30 xml файлов. С помощью кода ниже не получается, вызывается ошибка "failed to open stream: HTTP request failed!"
Вот код:

for($i=16000000; $i <= 16000250; $i++) {
        $xml = simplexml_load_file("http://site/?id=$i");
        if($xml->error == "0") {
            echo $xml->people. "<br>";
        }
    }

Answer 1

[xmoonlight]

sleep(5) хотя бы....
и через curl не проще?

Comments

[doublench21]

0.5 ?

[xmoonlight]

sleep(5) - 5 секунд.
0.5 - не знаю... маловато...
сайт "site" - Ваш или чужой?

[Vadim997]

@xmoonlight мой сайт

[Vadim997]

@xmoonlight а вот например с сайта moscow.drom.ru/auto/?bull_id=$i&obj=show_contacts&... чтобы все телефонные контакты запарсить, какое время применить?

[xmoonlight]

смотри тут

[Vadim997]

@xmoonlight а что мне там смотреть мне просто надо поставить время у sleep в этом коде:

for($i=16000030; $i <= 16000500; $i++) {
$xml = simplexml_load_file("moscow.drom.ru/auto/?bull_id=$i&obj=show_contacts&...");
if($xml->error == "0") {
echo $xml->contacts . "
";
}
}

sleep(?);

[xmoonlight]

3 сек. для начала: sleep(3);

[Vadim997]

@xmoonlight ошибка в конце страницы "failed to open stream: HTTP request failed!"

[xmoonlight]

значит проблема у вас при отдаче по одному из id - несуществующая страница или подобное... т.е. код не 200

[Vadim997]

@xmoonlight страницы все существуют. Я проверял ту, которая ошибкой подсвечивается.

[xmoonlight]

тогда не знаю... ловите ошибки по логу веб-сервера

[doublench21]

@Vadim997 Проверьте так, указав лишь её конкретно в коде. Если он её вне цикла скачивает, а в цикле - нет, то добавьте ещё 2сек.

[Vadim997]

@doublench21 всё равно ошибка, но если не в цикле, тогда её нет.

[doublench21]

@Vadim997 не понял, вне цикла её он тоже не скачивает ? Добавьте именно эту страницу в исключение, будет ли ошибаться на следующих ?

[Vadim997]

@doublench21 вне цикла работает, а в цикле не работает.

[doublench21]

@Vadim997

for ($i = 16000000; $i <= 16000250; ++$i) {
    $xml = simplexml_load_file("http://site/?id=$i");
    if ($xml->error == "0") {
        echo $xml->people . "<br>";
    }
    sleep(5);
}

, ну если не так, то CURL вам в помощь.

[Vadim997]

@doublench21 если так, то:"Fatal error: Maximum execution time of 30 seconds exceeded".

[doublench21]

@Vadim997 А ну в после тега <?php поставьте set_time_limit(0);

[Vadim997]

@doublench21 всё равно ошибки

[xmoonlight]

$xml = simplexml_load_file("http://site/?id=".$i); //попробуйте так...

Answer 2

[Александр Зеленин]

используйте guzzle, обработку исключений, sleep и консольный скрипт, а не веб.

Comments

[Vadim997]

Мне необходимо, чтобы скрипт быстро парсил

[Александр Зеленин]

@Vadim997 и? развивайте мысль.

[Vadim997]

@zelenin я использую этот код:
<?php
set_time_limit(0);

for($i=16000000; $i <= 16000300; $i++) {
$xml = simplexml_load_file("moscow.drom.ru/auto/?bull_id=$i&obj=show_contacts&...");
if($xml->error == "0") {
echo $xml->contacts;
}
sleep(2);
}
?>
Но скрипт парсит медленно.

[Александр Зеленин]

потому что ваш скрипт будет работать минимум 2*n секунд, где n - количество итераций. Используйте мой совет, и вы максимально быстро будете это делать

[Александр Зеленин]

начинаем перебор, газзлом берем страницу, если газзл выкинул исключение, ставим sleep на секунду и повторяем итерацию, пока она не выполнится.

[Vadim997]

@zelenin Теперь всё понятно, но не понял что такое guzzle.

[Александр Зеленин]

@Vadim997 https://github.com/guzzle/guzzle