Оптимально ли я парсю данные?

Question

[driverx18]

Суть такая, приходит запрос боту ВК, бот связывается с нужной страничкой через CURL, и через PHPQuery вытаскивает текст (он маленький, 2-3 строчки), и кидает этот текст человеку ВК. Но кидается этот текст почему то очень долго..
Вот тут я в функции обращаюсь к нужному сайту

$ch = curl_init($url);
    curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
    curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36');
    $res = curl_exec($ch);
    return $res;

Функция парсинга:

function parse($val) {
   global $number;
   $document = phpQuery::newDocument(curlit($val, $number)); // тут передаю страницу на которую заходить
   $findelement = $document->find('.ml p'); // ищу в классе .ml параграф (это единственный текст в том классе)
   $text; // переменная для текста
   foreach($findelement as $element) {
      $pq = pq($element);
      $text = $pq->text(); // сюда записываю ту строчку текста
   }
  return $text;
}

Правильно ли я делаю, особенно с PHPQuery? Может это как то я по сложному и ресурсозатратному делаю? Просто ответ приходит в течение секунд 5-10, что действительно долго. Очень прошу помощи

Answer 1

[D3lphi]

Задержка не из-за того, что вы не так парсите данные, а из-за cURL запроса. Уверен, что это он выполняется так долго. И это от вас не зависит. Собственно, что мешает взять и измерить время выполнения того или иного куска кода?

Comments

[driverx18]

очень по нубски спрошу, но спрошу (глупо будет не спросить), как лучше это замерить? я не замерял никогда просто

[D3lphi]

driverx18:

$start = microtime(true);

// Кусок код, скорость которого нужно замерить

$time = microtime(true) - $start;
// Далее, либо выводите это значение ($time) на экран, либо пишите его в файл. Или вообще делаете с ним всё, что угодно.

[driverx18]

D3lphi: выдавало 1.17 результат, функции parse(), но функция parse() себя включает еще и функцию curlIt(), то бишь и связывание с тем сайтом, и парсинг с него занимает 1.17 сек как я понимаю

[driverx18]

D3lphi: и сделал функцию test(),
function test() {
$start = microtime(true);
file_get_contents('тут вставил юрл');
$time = microtime(true) - $start;
return $time;
}

написало ответ 1.2433850765228, не могу понять, норм или не норм?

[D3lphi]

driverx18:

не могу понять, норм или не норм?

А чего тут ненормального? Вполне может быть такое время получения страницы.

[driverx18]

D3lphi: я просто не знаю каким должен быть по скорости запрос, и не знаю вот тот результат это много или норма, может вы знаете?

[D3lphi]

driverx18: Это немало. Но вы то на это как сможете повлиять? Правильно, никак. Если только причина не в вашем канале связи.

[driverx18]

D3lphi: и сейчас сделал такой финт:

function test() {
    $start = microtime(true);
    file_get_contents('юрл');
    $time = microtime(true) - $start;
    $res1 = $time;

    $start2 = microtime(true);
    $ch = curl_init('юрл');
    curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
    curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36');
    $res = curl_exec($ch);
    $time2 = microtime(true) - $start2;
    $res2 = $time2;
    return $time . " and "  . $res2;
}

результат вообще 6.15 и 3.24...

Answer 2

[Ilya]

Так определите какой этап занимает больше времени - на этапе curl или на этапе phpQuery.
Кроме этого я бы заменил phpQuery на чистый xpath.
Плюс на всякий случай добавил бы
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);
Но это не для скорости.

Comments

[driverx18]

заменил на file_get_contents, стало чутка быстрее вроде..
а ответ должен же приходить не молниеностно, верно? пока пойдет запрос, пока спарсится.. или молниеностно?

[Ilya]

driverx18: file_get_contents, как правило, медленнее curl, так что, думаю, он случайно быстрее отработал. Время выполнения запроса зависит от массы факторов, основной - скорость отдачи контента сайтом-донором. На это вы не сможете повлиять. Но всегда есть возможность оптимизировать.
Верните curl и вооружившись curl_getinfo() анализируйте время выполнения.

Answer 3

[Александр N++]

лучше получите html блок текста через регулярку в $parseText
и обрамляем его в html теги

$parseText= '<html><body>'. $parseText .'</body></html> ';

и запихиваем все phpQuery

парсеру будет легче построить дерево и найти нужный вам селектор.

или попробуйте nokogiri отличается тем что не строит дерево, а рекурсивно проходит по всем node аналогично работает как и XmlReader