Парсинг сайта после выполнения JS?

Question

[ak_wi]

Каким инструментов проще всего спарсить сайт, где js-ом загружаются данные на страницу.?

Пример страницы, откуда нужно спарсить
https://www.jab.de/ru/ru/productadvancedsearch

Answer 1

[Владимир Скибин]

1. Проследить формирование запросов для сбора данных
2. Сформировать эти же запросы при своем парсинге

или

использовать headless браузер и к нему обращаться как к прослойке из php через тот же file_get_conents (например на phantomjs оформленный как http сервис)

Comments

[ak_wi]

Первый вариант не подходит по причине того, что запрос идет POST ом на API с использованием кук и CSRFToken

[Владимир Скибин]

ak_wi, CURL + preg_match разве не подходит для этой задачи?

[ak_wi]

Владимир Скибин, а есть пример?

[ak_wi]

phantomjs вполне себе подошел, теперь проблема с тем, как заставить его кликать на кнопку и ждать загрузки новых данных. Какой инструмент кроме casperjs может подойти?

[Владимир Скибин]

ak_wi, из php с ним не работал, только из nodejs, соответственно примеров нет. Что говорит документация?

[ak_wi]

Владимир Скибин, собрал его также под nodejs, но примеры найденные в стаковерфлоу/гугле после клика все равно не дожидаются дозагрузки контента(

[Владимир Скибин]

ak_wi, А как Вы ждете ? по таймеру / наличию тега ? насколько я помню - там не поймать onredystatechange в широком смысле.

[ak_wi]

по таймеру проверяю кол-во элементов, если их стало больше чем было, то пытаюсь взять их еще раз

[Владимир Скибин]

ak_wi, ок, допустим, а как Вы отлавливаете конец списка?

[ak_wi]

Владимир Скибин, кол-во айтемов не меняется

[Владимир Скибин]

ak_wi, В итоге у Вас все получилось?

[ak_wi]

нет, пока проблема не решена. А есть урлы на годные мануалы по CURL + preg_match для общения с api?

[Владимир Скибин]

ak_wi, А что Вам непонятно из документации по ним? Общение с АПИ - это простые запросы. В Вашем случае Вам необходимо повторить POST запросы с схранением кук и csrf-token на https://www.jab.de/ru/ru/productsearch и увеличением параметров resultsNew и resultsDisplayed в передаваемых JSON параметрах. В итоге приходит массив данных о продуктах

{
"headline": "SABA VOL.3",
"teaserText": " It is a true classic: the decoration fabric SABA. The rustling, elegant taffeta is a textile dream for any interior scheme and fascinates with a spectacular colour palette of 253 options. The plain decoration fabric suits almost every furnishing style and enchants with its stylish charm.",
"link": "https://www.jab.de/ru/ru/Collection/Erato/SABA-VOL-3/p/1-6206-369",
"linkImg": "https://assets.jab.de/email/fabrics/emotion/1-62/1-6206-369-emotion-ratio1.jpg",
"autocompleteImg": "https://assets.jab.de/preview/fabrics/emotion/1-62/1-6206-369-emotion-ratio1.jpg",
"inWishlist": false,
"productCode": "1-6206-369",
"rangeOfUse": "Портьерные ткани",
"id": "1-6206-369",
"colorCodes": [
  "070",
  "020"
],
"productGroup": "ST",
"inspireImageUrl": null,
"emotionImageUrl": "https://assets.jab.de/email/fabrics/emotion/1-62/1-6206-369-emotion-ratio1.jpg",
"brandName": "JAB ANSTOETZ FABRICS",
"configuratorCode": null,
"discontinuationStatus": null,
"brandCode": "JA",
"storeLocatorServices": "999901",
"productDetails": null,
"price": "",
"unit": "",
"available": true
}

С которым уже можно работать. Этот вариант пробовали?

[ak_wi]

Владимир Скибин, код возвращает банально true, в чем может быть ошибка?

$url = "https://www.jab.de/ru/ru/productsearch";
$cookie = "cookie.txt";

$ch = curl_init();

curl_setopt($ch, CURLOPT_URL, $url);
curl_setopt($ch, CURLOPT_COOKIEJAR, $cookie);
curl_setopt($ch, CURLOPT_COOKIEFILE, $cookie);

curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
$response = curl_exec($ch);
if (curl_errno($ch)) die(curl_error($ch));

phpQuery::newDocument($response);
$token = pq("meta[name=_csrf]")->attr('content');

curl_setopt($ch, CURLOPT_RETURNTRANSFER, false);
curl_setopt($ch, CURLOPT_POST, true);

$params = array(
    'Content-Type: application/json; charset=UTF-8',
    'pageSize' => 30,
    'resultsNew' => 30,
    'searchTerm' => 30,
    'resultsDisplayed' => 30,
    'sortCode' => "recommendation",
    'CSRFToken' => $token,
    'Accept' => 'application/json, text/javascript, */*; q=0.01',
    'Accept-Encoding' => 'gzip, deflate, br',
    'Accept-Language' => 'ru-RU,ru;q=0.9,en;q=0.8,en-GB;q=0.7,en-AU;q=0.6,en-US;q=0.5',
    'Cache-Control' => 'no-cache',
    'Connection' => 'keep-alive',
    'Content-Length' => '7658',
    'Host' => 'www.jab.de',
    'Origin' => 'https://www.jab.de',
    'Pragma' => 'no-cache',

);
curl_setopt($ch, CURLOPT_POSTFIELDS, http_build_query($params));

$html = curl_exec($ch);

if (curl_errno($ch)) print curl_error($ch);
var_dump($html);
curl_close($ch);

[Владимир Скибин]

ak_wi,

$url = "https://www.jab.de/ru/ru/productsearch";
$cookie = $_SERVER['DOCUMENT_ROOT'] . '/' . "cookie.txt";

$ch = curl_init();

curl_setopt($ch, CURLOPT_URL, $url);
curl_setopt($ch, CURLOPT_COOKIESESSION, false);
curl_setopt($ch, CURLOPT_COOKIEJAR, $cookie);
curl_setopt($ch, CURLOPT_COOKIEFILE, $cookie);
curl_setopt($ch, CURLINFO_HEADER_OUT, true);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
$response = curl_exec($ch);
if (curl_errno($ch))
{
	die(curl_error($ch));
}

$token = '';
if (preg_match('~<meta name="_csrf" content="(.+?)"/>~ius', $response, $m))
{
	$token = $m[1];
}

curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
curl_setopt($ch, CURLOPT_POST, true);

$headers = [
	"csrftoken: $token",
	"content-type: application/json",
];
$post = '{"searchTerm":"","resultsNew":"0","pageSize":30,"resultsDisplayed":0,"sortCode":"recommendation","facet":{"colors":{"name":"\'\'","facetsValues":[]}}}';

curl_setopt($ch, CURLOPT_HEADER, 1);
curl_setopt($ch, CURLOPT_HTTPHEADER, $headers);
curl_setopt($ch, CURLOPT_POSTFIELDS, $post);

echo('<xmp>');
$html = curl_exec($ch);
$info = curl_getinfo($ch);

var_dump($info);

if (curl_errno($ch))
{
	print curl_error($ch);
}
var_dump($html);
curl_close($ch);

[ak_wi]

Владимир Скибин, спасибо, понял ошибки благодаря вашему комментарию