Как спарсить данные script через phpQuery?

Question

[newdancer]

Как спарсить данные script через phpQuery?
На страницы имеется скрипт внутри него есть функция со значениями которые нужно получить. Пример скрипта

function InitRatings()
{
    

    $(".ajax_rating.await_rating").each(function(){
        var id = parseInt($(this).data("film-id"));
        ids += id + "|";
    });

    $.post('/handler_get_parameter.php', {where: ids, token: xsrftoken}, function (data, status) {
        eval(data);
    });

    if (typeof(ur_data) == 'undefined') {ur_data = [];}
               ur_data.push({film: 1111749, rating: "", user_code: ""}); 
               ur_data.push({film: 409171, rating: "", user_code: ""}); 
               ur_data.push({film: 1100779, rating: "", user_code: ""}); 
               ur_data.push({film: 972321, rating: "", user_code: ""}); 
               ur_data.push({film: 1044592, rating: "", user_code: ""}); 
               ur_data.push({film: 794620, rating: "", user_code: ""}); 
               ur_data.push({film: 809570, rating: "", user_code: ""}); 
               ur_data.push({film: 987190, rating: "", user_code: ""}); 
               ur_data.push({film: 1103876, rating: "", user_code: ""}); 
               ur_data.push({film: 867331, rating: "", user_code: ""}); 
               ur_data.push({film: 1048346, rating: "", user_code: ""}); 
               ur_data.push({film: 1112643, rating: "", user_code: ""}); 
               ur_data.push({film: 930555, rating: "", user_code: ""}); 
               ur_data.push({film: 1047736, rating: "", user_code: ""}); 
               ur_data.push({film: 1044906, rating: "", user_code: ""}); 
               ur_data.push({film: 979129, rating: "", user_code: ""}); 
               ur_data.push({film: 1022462, rating: "", user_code: ""}); 
               ur_data.push({film: 799482, rating: "", user_code: ""}); 
               ur_data.push({film: 1006294, rating: "", user_code: ""}); 
               ur_data.push({film: 1045076, rating: "", user_code: ""}); 
               ur_data.push({film: 1111744, rating: "", user_code: ""}); 
               ur_data.push({film: 1108575, rating: "", user_code: ""}); 
               ur_data.push({film: 981230, rating: "", user_code: ""}); 
               ur_data.push({film: 666865, rating: "", user_code: ""}); 
               ur_data.push({film: 1047724, rating: "", user_code: ""}); 
               ur_data.push({film: 958501, rating: "", user_code: ""}); 
               ur_data.push({film: 924167, rating: "", user_code: ""}); 
               ur_data.push({film: 1103852, rating: "", user_code: ""}); 
               ur_data.push({film: 1082597, rating: "", user_code: ""}); 
               ur_data.push({film: 1107025, rating: "", user_code: ""}); 
               ur_data.push({film: 1075751, rating: "", user_code: ""}); 
               ur_data.push({film: 1062316, rating: "", user_code: ""}); 
               ur_data.push({film: 986511, rating: "", user_code: ""}); 
               ur_data.push({film: 841470, rating: "", user_code: ""}); 
               ur_data.push({film: 1045590, rating: "", user_code: ""}); 
               ur_data.push({film: 1046545, rating: "", user_code: ""}); 
               ur_data.push({film: 1027311, rating: "", user_code: ""}); 
               ur_data.push({film: 959260, rating: "", user_code: ""}); 
               ur_data.push({film: 965641, rating: "", user_code: ""}); 
               ur_data.push({film: 1112036, rating: "", user_code: ""}); 
               ur_data.push({film: 1076322, rating: "", user_code: ""}); 
               ur_data.push({film: 1110934, rating: "", user_code: ""}); initMiniVotes();
}

В ur_data.push film есть id собственно которые и нужно получить? Пытался получить из страницы не получается так как страница догружается по мере просмотра

Answer 1

[Михаил Сисин]

Если страница догружается, значит скорее всего едет XHR запрос, данные в нем скорее всего в JSON. Возможно проще было бы забрать его и распарсить. Если бы дали URL который нужно забрать, можно было бы сказать больше.

Comments

[newdancer]

вот страница https://www.kinopoisk.ru/premiere/ru/2018/month/4/
хочу получить список id премьер. так как когда так получаю информацию через разбор страницы то она получается не полностью

[Михаил Сисин]

Посылается POST запрос на https://www.kinopoisk.ru/premiere/ru/2018/month/4/
со следующими полями
token=CSeIvLiyQOaq4XjQIN-fr63hYek_Fop5xWtV0vnDZRs&page=1&ajax=true

Однако он будет работать и с GET запросом: https://www.kinopoisk.ru/premiere/ru/2018/month/4/...

Соответственно для забора всех страниц надо организовать цикл с инкрементацией счетчика текущей страницы. И выходить из цикла когда приедет в ответ 0 записей. То есть ваш парсер будет последовательно забирать:
https://www.kinopoisk.ru/premiere/ru/2018/month/4/...
https://www.kinopoisk.ru/premiere/ru/2018/month/4/...
https://www.kinopoisk.ru/premiere/ru/2018/month/4/...

И соответвенно парсить их.

Далее - токен. Если он меняется, можно его забрать на странице https://www.kinopoisk.ru/premiere/ru/2018/month/4/
Он находится в ноде script: var xsrftoken = 'CSeIvLiyQOaq4XjQIN-fr63hYek_Fop5xWtV0vnDZRs';
Если не меняется, можно захардкодить (но это в принципе неправильно :))

[newdancer]

Михаил Сисин, попробовал запрос get в postman. Долго висел в loading а потом выдал Could not get any response. Даже понял токен не помогло (так как видимо он под сессию наверно выдается). а как вытащить этот токен из страницы?
Update: Да данные получил со страниц, но все таки как получить этот самый xsrftoken

[Михаил Сисин]

https://www.kinopoisk.ru/premiere/ru/2018/month/4/
тут надо пройти в ноду script:contains("var xsrftoken ="), забрать контент ноды и вытащить регекспом ключ:

var\s+xsrftoken\s*=\s*'([^']+)

[newdancer]

Михаил Сисин,
Попробовал так. Скрипт сам вытащил. А вот регуляркой вытащить xsrftoken уже не удалось. Либо не работает либо пишет preg_replace(): Delimiter must not be alphanumeric or backslash

$pb = getPage($baseUrl);
$scr = pq('script:contains("var xsrftoken =")');
$xsrftoken = preg_replace("var\s+xsrftoken\s*=\s*'([^']+)", "$1", $scr);

[Михаил Сисин]

$m = preg_match("/var\s+xsrftoken\s*=\s*'([^']+).+/", $src, $xsrftoken);
echo $xsrftoken[1];

[newdancer]

Михаил Сисин, спасибо, помогло!

[Михаил Сисин]

newdancer, :) удачи в парсинге