Как проверять конкретное значение на левом сайте?

Question

[Денис]

Вопрос в заголовке не совсем корректен, поэтому опишу подробнее тут.

Необходимо посещать условный сайт xxx.yy найти там строку с определёнными параметрами, к примеру:

В данном случае нужно найти строку tr c data-id="88066" и проверить состояние data-count (к примеру data-count != 0)

Запуск скрипта будет происходить по заданию cron.
Натолкните на мысль, как через php посещать "левый" сайт и как проверять значение конкретного data-count

Answer 1

[Dmitry]

php.net/manual/ru/ref.curl.php
и
php.net/manual/ru/class.domdocument.php

$result = '<tr data-id="88066" data-count="0"> ... </tr>'; // код страницы см. curl_exec()
$dom = new \DOMDocument();
$dom->loadHTML($result);
		
/** @var \DOMElement $element */
foreach($dom->getElementsByTagName('tr') as $element)
{	
	$value = $element->getAttribute('data-id'); // 88066
	$count = $element->getAttribute('data-count');
}

Comments

[Денис]

Спасибо за решение!
Но у меня возникла проблема
Вот мой код:

spoiler

<?php
  $url = 'http://deer.io';
  $curl = curl_init(); 
    
    curl_setopt($curl, CURLOPT_RETURNTRANSFER, true);
    curl_setopt($curl, CURLOPT_HEADER, true);
	curl_setopt($curl, CURLOPT_FRESH_CONNECT, true);
	curl_setopt($curl, CURLOPT_TCP_NODELAY, true);
	curl_setopt($curl, CURLOPT_USERAGENT, "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.2 (KHTML, like Gecko) Chrome/22.0.1216.0 Safari/537.2");

	
	curl_setopt($curl, CURLOPT_CONNECTTIMEOUT, 30);
	curl_setopt($curl, CURLOPT_FOLLOWLOCATION, 1);
	curl_setopt($curl, CURLOPT_HTTPHEADER, array("Accept-Language: ru-ru,ru;q=0.8,en-us;q=0.5,en;q=0.3"));
	curl_setopt($curl, CURLOPT_MAXREDIRS, 4);


    //For Debugging 
    curl_setopt($curl, CURLOPT_VERBOSE, TRUE); 
	
	curl_setopt($curl, CURLOPT_URL, $url);


	$code = curl_getinfo($curl, CURLINFO_HTTP_CODE);	
	echo $code."</br>";
	
	/*string $code2 = curl_error ( resource $curl );
	echo $code2;*/
	
	if(curl_exec($curl) === false)
{
    echo 'Ошибка curl: ' . curl_error($curl)."</br>";
}
else
{
    echo 'Операция завершена без каких-либо ошибок'."</br>";
}
	
    // execute and return string (this should be an empty string '')
    $str = curl_exec($curl);
	

    curl_close($curl);
	echo $str."</br>";
?>

И вот что я получаю:

Все сайты, построенные на deer.io выдают мне подобный результат, без выгрузки контента.
На остальных сайта работает корректно

Пытался разобраться сам, но все описанные в интернете способы мне не помогли.

[Dmitry]

Денис: наверное на этом сайте есть какие-либо условия, по которым определяют настоящий ли это браузер или робот. Попробуйте для начала сторонние библиотеки где поддерживаются куки, например https://github.com/guzzle/guzzle или измените ваш существующий код. Начните с простого - с cookies.

[Stalker_RED]

Денис: AaAAxzz: curl тоже умеет куки

curl_setopt($ch, CURLOPT_HTTPHEADER, array("Cookie: foo=bar"));

или из файла
curl_setopt($ch, CURLOPT_COOKIEFILE, $ckfile);

[Денис]

AaAAxzz: Stalker_RED: в общем пробовал и через cURL и через guzzle и через phpQuery и xthtp Phantomjs и ещё через пару библиотек - данный сайт не парсится (не грузится).
Пробовал и с куки и через прокси различных стран, и с различных хостингов - эффекта ноль.
Зато все остальные сайты грузятся отлично, даже те, с которыми были проблемы у различных пользователей сети.

Текущий код

<?php

//	$url = 'crymore.biz';
	$url = 'http://crymore.biz';
//	$url = 'http://aliexpress.com';
//	$url = 'https://deer.io';
//	$url = gethostbyname('crymore.biz');
 

$headers = array( 
            "GET ". $url ." HTTP/1.1", 
            "Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8", 
            "Accept-Encoding: gzip, deflate, sdch", 
            "Accept-Language: ru-RU,ru;q=0.8,en-US;q=0.6,en;q=0.4", 
            "User-Agent: Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.133 Safari/537.36 OPR/44.0.2510.1218"
        ); 

    $curl = curl_init(); 
    
	curl_setopt($curl, CURLOPT_ENCODING, "gzip, deflate, sdch");
    
//    curl_setopt($curl, CURLOPT_RETURNTRANSFER, true);
//    curl_setopt($curl, CURLOPT_HEADER, true);
	curl_setopt($curl, CURLOPT_HTTPHEADER, $headers);
	curl_setopt($curl, CURLOPT_FRESH_CONNECT, true);
	curl_setopt($curl, CURLOPT_TCP_NODELAY, true);
	curl_setopt($curl, CURLOPT_USERAGENT, "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.133 Safari/537.36 OPR/44.0.2510.1218");
//	curl_setopt($curl, CURLOPT_USERAGENT, "Mozilla/5.0 (Linux; Android 5.1.1; Nexus 5 Build/LMY48B) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/43.0.2357.78 Mobile Safari/537.36");

	
	curl_setopt($curl, CURLOPT_CONNECTTIMEOUT, 30);
	curl_setopt($curl, CURLOPT_FOLLOWLOCATION, 1);
	curl_setopt($curl, CURLOPT_REFERER, '');
//	curl_setopt($curl, CURLOPT_COOKIEFILE, '');
//	curl_setopt($curl, CURLOPT_HTTPHEADER, array("Accept-Language: ru-ru,ru;q=0.8,en-us;q=0.5,en;q=0.3"));
	curl_setopt($curl, CURLOPT_MAXREDIRS, 10);
//	curl_setopt($curl, CURLOPT_HEADERFUNCTION, 'setCookies');
	curl_setopt($curl, CURLOPT_COOKIEJAR, $_SERVER['DOCUMENT_ROOT'].'/cookie.txt');
	curl_setopt($curl, CURLOPT_COOKIEFILE, $_SERVER['DOCUMENT_ROOT'].'/cookie.txt');
//	curl_setopt($curl, CURLOPT_PROXY, "216.139.71.163:8118");
	
	curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false);
	curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, false);

    //For Debugging 
    curl_setopt($curl, CURLOPT_VERBOSE, TRUE); 
	
	curl_setopt($curl, CURLOPT_URL, $url);


	$code = curl_getinfo($curl, CURLINFO_HTTP_CODE);	
	echo $code."</br>";

	
	if(curl_exec($curl) === false)
{
    echo 'Ошибка curl: ' . curl_error($curl)."</br>";
}
else
{
    echo 'Операция завершена без каких-либо ошибок'."</br>";
}
	
    // execute and return string (this should be an empty string '')
    
	$str = curl_exec($curl);
	
	

    curl_close($curl);
	echo "<pre>";
	echo $str;
	echo "</pre>";
?>

[Stalker_RED]

Денис: Но браузером же он открывается? Если скопировать запрос из браузера один-в-один, то откроется и курлом.

[Dmitry]

Денис: К вас есть ответ в виде js-скрипта от этого сайта, бегло если посмотреть - там видно что нужная информация для кук возвращается с адреса "/banhammer/pid" и после следует редирект на "/".

С курлом у вас все прекрасно и ваш кусок кода годится, единственное, что вам нужно - это сымитировать работу браузера, установить BHC=; path=/ сделать асинхронный запрос, получить новое значение и запросить адрес снова (да, в guzzle работа с куками гораздо проще)

Answer 2

[Vlad Feninets]

уж проще на ноде сделать (и в тот же крон поставить).

делаешь xhr на страничку (при помощи fetch, например), получаешь хтмл - парсишь его, например при помощи https://www.npmjs.com/package/cheerio
работаешь дальше с ним как с обычным DOM - достаешь нужный tr и читаешь его аттрибуты.

зы: ну на пхп уверен тоже самое можно сделать: cron + какая-нибудь библиотечка для парса и работы с DOM

Comments

[Stalker_RED]

Если кто-то пишет "проще сделать так-то", то он наверное пробовал обоими способами, и сравнил. А в вашем случае это не так.