Возможно ли при парсинге заграбить блоки, которые подгружаются с ajax/js?

Question

[EVOSandru6]

Добрый день,

Интересует такая штука, вполне себе нормально парсить статические сайты с помощью nokogiri или simple_html_dom.
Но ..
Что делать, если часть контента подгружается динамически или с задержкой, можно как нибудь самому задержаться и такой контент зацепить?

Answer 1

[matperez]

1. Можете разобраться каким образом формируются ajax запросы и самостоятельно их повторить.
2. Можете воспользоваться каким-нибудь PhantomJS, как-нибудь так:

<?php
require '../vendor/autoload.php';
use JonnyW\PhantomJs\Client;
$client = Client::getInstance();
$request  = $client->getMessageFactory()->createRequest();
$response = $client->getMessageFactory()->createResponse();
$request->setMethod('GET');
$request->setUrl('http://google.com');
$client->send($request, $response);
var_dump($response);

А результат уже подать на вход simple_html_dom.

Comments

[EVOSandru6]

Здорово) Только как узнать исходники ajax - через firebug?

[matperez]

EVOSandru6: ну, во втором случае, вам не нужно этого знать. по идее phantomjs может выполнить js код и дать вам конечный вид страницы.
в первом случае, вместо изучения исходников, можно посмотреть в списке сетевых подключений какие запросы отправляются на бекенд и попробовать их повторить.

[EVOSandru6]

Интересно, в где можно найти список сетевых подключений?

[matperez]

EVOSandru6: Если пользуетесь Firebug, тогда здесь https://getfirebug.com/wiki/index.php/Net_Panel