Как через curl получить данные с ajax запроса?

Question

[Vladimir L]

Пытаюсь через curl получить данные с ajax запроса , подскажите что не так делаю

$url = "https://razmerkoles.ru/size/bmw/x6/2018";

function getCurlResult ($url) {
	global $arrProxy;
	$ch = curl_init();
	curl_setopt($ch, CURLOPT_URL, $url);
	curl_setopt($ch, CURLPROTO_HTTPS,1);
	curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, 0);
	curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, 0);
	curl_setopt($ch, CURLOPT_HTTPPROXYTUNNEL, 1); 
	curl_setopt($ch, CURLOPT_PROXY, "103.239.54.56:45462");
	curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);
	curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
	curl_setopt($ch, CURLOPT_HEADER, 1);
	curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, 30);// таймаут в секундах
	curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.140 Safari/537.36 Edge/17.17134');
	curl_setopt($ch, CURLOPT_VERBOSE, true);
	curl_setopt($ch, CURLOPT_COOKIEJAR, "C:\Users\vova_\AppData\Local\Google\Chrome\User Data\Default\Cookies");
	curl_setopt($ch, CURLOPT_COOKIEFILE, "C:\Users\vova_\AppData\Local\Google\Chrome\User Data\Default\Cookies");
	$htmltext = curl_exec($ch);
	curl_close($ch);	
	//$htmltext = iconv("CP1251", "UTF-8", $htmltext);
	return $htmltext;
}
	
$zz = 0;

$html = getCurlResult($url);

$startpos = strpos($html, 'sRwd=\'');// достаю значения атрибута data-rim и data-front
$curlStrCopy = $html;
$startpos +=strlen('sRwd=\'');
$html = substr($html, $startpos);
$endPos = strpos($html, '\';');
$str = substr($curlStrCopy, $startpos, $endPos);
// echo $zz++;
echo "<pre>";
echo $str . "<br>";
echo "</pre>"; 

$url_site = "https://razmerkoles.ru";

$curl_code = getCurlResult($url_site . $str);

Comments

[DanKud]

Ну так а почему вы делаете запрос на https://razmerkoles.ru/size/bmw/x6/2018, а не на ту страницу, которую указали на скриншоте?

[Vladimir L]

DanKud, Я сначала достаю этот адрес со страницы https://razmerkoles.ru/size/bmw/x6/2018, а потом передаю его в curl

[DanKud]

Если $url_site . $str корректно выводит нужный адрес, то никаких проблем быть не должно. На этой странице нет никаких фильтров по заголовкам, можно отправлять просто голый запрос. Я взял ваш CURL-код и без проблем получил нужную страницу. Попробуйте для примера просто $curl_code = file_get_contents($url_site . $str);

Ну и конечно значение sRwd можно получить гораздо проще:

preg_match('/sRwd=\'(.*?)\'/', $html, $m);
$str = $m[1];

[Vladimir L]

DanKud, Спасибо , действительно всё работает, не подскажешь как проще вытащить последний обзац получаемого текста

HTTP/1.1 200 OK

HTTP/1.1 200 OK
Cache-Control: max-age=0, no-cache, no-store, must-revalidate, post-check=0, pre-check=0
Content-Language: ru
Content-Type: text/html; charset=utf-8
Date: Wed, 30 Jan 2019 11:13:39 GMT
ETag: "35c3d93cb207a3413d4c9d16a3f819f9"
Pragma: no-cache
Server: nginx
Strict-Transport-Security: max-age=31536000; includeSubDomains;
Vary: Accept-Encoding
Vary: Accept-Language, Cookie
X-Cache-Status: HIT
X-Frame-Options: SAMEORIGIN
X-Page-Speed: 1.12.34.3-0
X-Server: WEB PROD / 1
Content-Length: 636
Connection: keep-alive

EYi0n2y2zgeIoIaItte0ihGGms4YnsiSiciWzwi4otGIoIaIstySierPzxnLBciSiciZnwvKytKIoIaIstySierPzxnLBciSiciYmtnLzwmIoIaIiIWGiJe3odrLnYi6ici3nc4Xig1TiIWGiMy0mdrJmsi6ici3nc4Xig1TiIWGiJq5yZzJnci6icjjnIWGrgLLC2vSiIWGiJu0owe0zIi6ici3nc4Xig1TiIWGiJy4odrHysi6icjnmtqGEcaXlJi1iIWGiJLJndK0mIi6icjnmtqGEcaXlJi1iIWGiJrMmtLJmci6ici3nc4Xig1TiIWGiMu1zgmXzIi6ici3nc4Xig1TiIWGiJC4zwq2nsi6icjwocWGxhuWndeXxhuWndm1xhuWndnKxhuWndm3xhuWndm4xhuWndnKiIWGiJzLmJi2nsi6icjnmtqGEcaXlJi1iIWGiJiXmwyXmIi6iciIlcaInZbHnJDLiJOGiKK2lcbCDta0mtfCDta0mZvCDta0m2rCDta0mZDCDta0mZHCDta0m2qIlcaIzduZnZm3iJOGiIiSici2odiWmMeIoIaItte0ihGGms4YnsiSiciWzJC2odeIoIaIiIWGiJi1zdu4mYi6iciIFq--

[DanKud]

А зачем вы выводите заголовки? Просто уберите их вывод и будете получать только тело страницы, то что вам и нужно. Установите CURLOPT_HEADER в 0:

.....
curl_setopt($ch, CURLOPT_HEADER, 0);
.....

[Vladimir L]

DanKud, Спасибо вам огромное за помощь, не знаете почему если поменять адрес например на https://razmerkoles.ru/size/bmw/8-series/2019/ то выдает такой текст на экран

я так понял что это значит отказ в запросе

[DanKud]

Не знаю, у меня все нормально выводится при запросе к https://razmerkoles.ru/size/bmw/8-series/2019/. Вы уверены, что корректно подставляете адрес страницы в запрос?

[Vladimir L]

DanKud, Проверил, адрес страницы правильный, саму страницу я получаю ,а вот когда беру адрес с sRwd и делаю второй запрос ,мне выдает такой текст :
Forbidden
We're sorry, but the requested action is forbidden

$url = "https://razmerkoles.ru/size/bmw/8-series/2019/";

function getCurlResult ($url) {
	global $arrProxy;
	$ch = curl_init();
	curl_setopt($ch, CURLOPT_URL, $url);
	curl_setopt($ch, CURLPROTO_HTTPS,1);
	curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, 0);
	curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, 0);
	curl_setopt($ch, CURLOPT_HTTPPROXYTUNNEL, 1); 
	curl_setopt($ch, CURLOPT_PROXY, "103.239.54.56:45462");
	curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);
	curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
	curl_setopt($ch, CURLOPT_HEADER, 0);
	curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, 30);// таймаут в секундах
	curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.140 Safari/537.36 Edge/17.17134');
	// curl_setopt($ch, CURLOPT_VERBOSE, true);
	// curl_setopt($ch, CURLOPT_COOKIEJAR, "/var/www/docs/lobochkin.ru/cookies");
	// curl_setopt($ch, CURLOPT_COOKIEFILE, "/var/www/docs/lobochkin.ru/cookies");
	$htmltext = curl_exec($ch);
	curl_close($ch);	
	//$htmltext = iconv("CP1251", "UTF-8", $htmltext);
	return $htmltext;
}
	
$zz = 0;

$html = getCurlResult($url);


preg_match('/sRwd=\'(.*?)\'/', $html, $m);
$str = $m[1];
echo $str . "<br>";

$url_site = "https://razmerkoles.ru";

$str_curl_code = getCurlResult($url_site . $str);
// $curl_code = file_get_contents($url_site . $str);
echo "<pre>";
echo $str_curl_code . "<br>";
echo "</pre>";

[DanKud]

Надо вставить корректные заголовки. Странно как-то, почему-то иногда скрипт проверяет заголовки и выдает ошибку если их нет, а иногда как-будто не проверяет и выдает результат без заголовков :)
Можно сделать так:

$url = "https://razmerkoles.ru/size/bmw/8-series/2019/";

function getCurlResult ($url, $headers = []) {
  global $arrProxy;
  $ch = curl_init();
  curl_setopt($ch, CURLOPT_URL, $url);
  curl_setopt($ch, CURLOPT_HTTPHEADER, $headers); /* ДОБАВЛЯЕМ ЗАГОЛОВКИ */
  curl_setopt($ch, CURLPROTO_HTTPS,1);
  curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, 0);
  curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, 0);
  curl_setopt($ch, CURLOPT_HTTPPROXYTUNNEL, 1); 
  curl_setopt($ch, CURLOPT_PROXY, "103.239.54.56:45462");
  curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);
  curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
  curl_setopt($ch, CURLOPT_HEADER, 0);
  curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, 30);// таймаут в секундах
  curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.140 Safari/537.36 Edge/17.17134');
  // curl_setopt($ch, CURLOPT_VERBOSE, true);
  // curl_setopt($ch, CURLOPT_COOKIEJAR, "/var/www/docs/lobochkin.ru/cookies");
  // curl_setopt($ch, CURLOPT_COOKIEFILE, "/var/www/docs/lobochkin.ru/cookies");
  $htmltext = curl_exec($ch);
  curl_close($ch);	
  //$htmltext = iconv("CP1251", "UTF-8", $htmltext);
  return $htmltext;
}
  
$zz = 0;

$html = getCurlResult($url);

preg_match('/sRwd=\'(.*?)\'/', $html, $m);
$str = $m[1];
echo $str . "<br>";

$url_site = "https://razmerkoles.ru";

/* МАССИВ ЗАГОЛОВКОВ */
$headers[] = 'Accept-Language: ru-RU,ru;q=0.8,en-US;q=0.5,en;q=0.3';
$headers[] = 'Referer: https://razmerkoles.ru/size/bmw/8-series/2019/';
$headers[] = 'X-Requested-With: XMLHttpRequest';

$str_curl_code = getCurlResult($url_site . $str, $headers); /* ДОБАВЛЯЕМ ВТОРЫМ ПАРАМЕТРОМ НАШ МАССИВ */
// $curl_code = file_get_contents($url_site . $str);
echo "<pre>";
echo $str_curl_code . "<br>";
echo "</pre>";

[Vladimir L]

DanKud, Гениально ! А в массиве заголовков достаточно менять только адрес страницы

если у меня будет много таких запросов с разных страниц этого сайта ?

[DanKud]

Да, просто подставляйте переменную $url в которой у вас первоначальный адрес запрашиваемой страницы. Проще говоря просто пропишите:
$headers[] = 'Referer: ' . $url;

Answer 1

[marxxt]

Добавьте заголовок

Referer: "https://razmerkoles.ru/size/bmw/x6/2018"