Почему PhantomJS не работает?

Question

[stainer]

Добрый день, пытаюсь получить контент сайта, на котором основное содержимое подгружается ajax-ом.
Сразу понял, что curl-ом не получится т.к. сценарии не выполнятся, и поставил phantomJS.

Но проблема в том, что phantomJS выдает тоже самое, что и обычный curl.

<?php
	$phantom_script= dirname(__FILE__). '/Get-website.js'. ' https://какой-то сайт/supply/p/orders/160075/?t=eb14959b-d89a-4ba6-a2ba-eacff2b8f747'; 
	$response =  shell_exec ('phantomjs --ssl-protocol=any ' . $phantom_script);
	echo htmlspecialchars($response);

Скрипт:

var args = require('system').args;
var webPage = require('webpage');
var page = webPage.create();
var address = args[1];

page.open(address, function (status) {
    if (status !== 'success') {
        console.log(page.content); //content = Null
        console.log('Unable to load the address! PHP');
        phantom.exit();
    } else {
        window.setTimeout(function () {
            console.log(page.content);
            phantom.exit();
        }, 5000); // Change timeout as required to allow sufficient time 
    }
});

Задержку и работу с https почитал, но все равно не работает..
Предполагаю, что просто сама библиотека устарела, но может кто поможет?
Заранее благодарен!

Answer 1

[Newn]

Что за ошибка, или что он выдает? Выдает не полный контент? Если ваша цель то содержимое подгружаемое ajax, то, вычислите данные которые передаются ему и получите обратно контент.

Comments

[stainer]

Ошибок никаких нет, просто как-будто не выполняются сценарии.
И в curl и в фантом получают страницу в теле которой блок
<div id="app"></div>
и несколько скриптов.
Если заходить через браузер, то в
<div id="app"></div>
подгружается контент.

P.S. если в браузере отключить js, то получают тоже, что и методами выше. Поэтому и появилось предположение, что js не выполняется на фантоме.

[Newn]

можно сайт в студию?

[Newn]

stainer, надо подумать, я сталкивался с такой ситуацией, но как я делал, брал тот скрипт с которого все подгружается, разбирал его и искал ссылки подгрузики инфы, после чего уже с этой ссылки брал инфу. Так же можно посмотреть в браузере откуда он берет, во вкладке network. там вроде бы get запрос был. Отпишу позже если чего найду

[stainer]

Newn, очень благодарен Вам за помощь! Буду параллельно Вам пробовать в скриптах что-то увидеть
З.Ы. скорее всего в app.js

[сергей кузьмин]

User Agent и REFERER поменяйте чтобы сайт не догадался что вы его
https://habr.com/ru/post/303726/

[Newn]

Вы пробовали использование ограничение времени на исполнение? Как в этой статье? Как ограничить время выполнения PhantomJS из php?
К тому, же ваш заказ, если он таковым имеется, уже удален. Т.е. не понятно, принцип вашей рабочей логики.

[stainer]

Newn, да, заказы через какое-то время пропадают, но вы можете любой взять, в верхнем меню есть пункт "Мои заказы".

Добавил ограничение времени и User Agent и REFERER из сообщения выше, но ничего не поменялось :(

var args = require('system').args;
var webPage = require('webpage');
var page = webPage.create();
var address = args[1];
page.settings.userAgent = 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36';
page.customHeaders = {'Referer': 'https://is.gd'};
page.open(address, function (status) {
    if (status !== 'success') {
        console.log(page.content); //content = Null
        console.log('Unable to load the address! PHP');
        phantom.exit();
    } else {
        window.setTimeout(function () {
			setTimeout(function () {
				phantom.exit();
			}, 5000);
            console.log(page.content);	
        }, 5000); // Change timeout as required to allow sufficient time 
    }
});

[stainer]

Newn, В общем забил на PhantomJS и просто начал работать с библиотекой "Chrome Headless".
Завелось и заработало с "полтычка".
Благодарю за помощь!

[Newn]

stainer, можно примеры посмотреть или результаты?

[stainer]

$phantom_script= 'https://example.com'; 
$response =  shell_exec ('google-chrome-stable --headless --disable-gpu --virtual-time-budget=10000 --dump-dom --no-sandbox ' . $phantom_script);

Дальше с переменной $response уже работаю.

[Newn]

stainer, благодарю