Как получить данные от vk api через curl?

Question

[checky]

Делаю голосование на сайте, каждую неделю в воскресенье по cron будет запускаться php скрипт, который посылает запрос на vk api - например:

https://api.vk.com/method/wall.getById?posts=11718...

дальше декодит в массив и вытаскивает всю необходимую информацию.. Проблема в том, как получить ответ с этой страницы vk api:

используя file_get_contents

<?php


					$myvkreq = file_get_contents('https://api.vk.com/method/wall.getById?posts=117180742_8288');
					echo $myvkreq;
?>

получаю:

Warning: file_get_contents(https://api.vk.com/method/wall.getById?posts=11718...): failed to open stream: Connection refused in /home/uXXX/public_html/test.php on line 4

используя curl

1ая попытка -

function curl( $url ) {
	$ch = curl_init( $url );
	curl_setopt( $ch, CURLOPT_RETURNTRANSFER, true );
	curl_setopt( $ch, CURLOPT_SSL_VERIFYHOST, false );
	curl_setopt( $ch, CURLOPT_SSL_VERIFYPEER, false );
	$response = curl_exec( $ch );
	curl_close( $ch );
echo $response;
}
curl('https://api.vk.com/method/wall.getById?posts=117180742_8288');

получаю абсолютно пустую страницу..

2ая попытка -

<?php


function getSslPage($url) {
    $ch = curl_init();
    curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, FALSE);
    curl_setopt($ch, CURLOPT_HEADER, false);
    curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true);
    curl_setopt($ch, CURLOPT_URL, $url);
    curl_setopt($ch, CURLOPT_REFERER, $url);
    curl_setopt($ch, CURLOPT_RETURNTRANSFER, TRUE);
    $result = curl_exec($ch);
    curl_close($ch);
    return $result;
}
getSslPage('https://api.vk.com/method/wall.getById?posts=117180742_8288');
?>

ответ -

Warning: curl_setopt(): CURLOPT_FOLLOWLOCATION cannot be activated when an open_basedir is set in /home/uXXX/public_html/test.php on line 8

хостинг - hostinger заверяет что curl и curl ssl установлен..

пробовал сокет, тоже не получилось - 302 ошибка (что-то поделав - получил 301).

подскажите пожалуйста как получить этот ответ

APD
как я понял проблема всё-таки в хостинге, так как на koding.com всё работает правильно (и fgc и curl), так что вопрос снялся, спасибо за внимание.. буду тестить на denwer, напишу что получилось

Answer 1

[GTRxShock]

На хостингере все работает, просто запрещены редиректы.
Это ограничение можно обойти написав свою реализацию curl_exec().

например:

public function curl_redir_exec($ch)
    {
        if (self::$curl_loops++ >= self::$curl_max_loops)
        {
            self::$curl_loops = 0;
            return FALSE;
        }
        curl_setopt($ch, CURLOPT_HEADER, true);
        curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
        $data = curl_exec($ch);
        //$header = '';
        //var_dump($data);
        list($header) = explode("\n\n", $data, 2);
        $http_code = curl_getinfo($ch, CURLINFO_HTTP_CODE);
        if ($http_code == 301 || $http_code == 302)
        {
            $matches = array();
            preg_match('/Location:(.*?)\n/', $header, $matches);
            //print_r($matches);
            $url = @parse_url(trim(array_pop($matches)));
            if (!$url)
            {
                //couldn't process the url to redirect to
                $curl_loops = 0;
                return $data;
            }
            $url['query'] = ''; // костыль в ооп
            $last_url = parse_url(curl_getinfo($ch, CURLINFO_EFFECTIVE_URL));
            if (!$url['scheme'])
                $url['scheme'] = $last_url['scheme'];
            if (!$url['host'])
                $url['host'] = $last_url['host'];
            if (!$url['path'])
                $url['path'] = $last_url['path'];
            $new_url = $url['scheme'] . '://' . $url['host'] . $url['path'] . ($url['query']?'?'.$url['query']:'');
            curl_setopt($ch, CURLOPT_URL, $new_url);
            //debug('Redirecting to', $new_url);
            //echo $new_url;
            return $this->curl_redir_exec($ch);
        } else {
            $curl_loops=0;
            return $data;
        }
    }

так как необходимость во встроенных редиректах отпадает, устанавливаем CURLOPT_FOLLOWLOCATION => false

p.s. не забываем, что это своего рода костыль, но, за неимением лучшего хостинга, для разработки вполне сойдет :)

Comments

[checky]

принцип кажется понял, мы так перехватываем то, куда нас перенаправляет по идее? наверное.. дело в том, что я с классами ещё никогда ничего не делал, тк прогаю как бы для себя под свои нужды и с этим не сталкивался и всего лишь когда-то месяцы назад почитал немного основной теории. сейчас это пишу только потому что безумно устал и пойду спать сейчас) как очнусь буду в этом разбираться, но если Вам не трудно - напишите немного поподробнее, или просто целый пример кода, в который я вставлю нужный урл, проверю как работает и буду построчно разбирать.. в любом случае спасибо)

[GTRxShock]

вот обычная функция для процедурного стиля:
function curl_redir_exec($ch)
{
static $curl_loops = 0;
static $curl_max_loops = 20;
if ($curl_loops++ >= $curl_max_loops)
{
$curl_loops = 0;
return FALSE;
}
curl_setopt($ch, CURLOPT_HEADER, true);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
$data = curl_exec($ch);
list($header, $data) = explode("\n\n", $data, 2);
$http_code = curl_getinfo($ch, CURLINFO_HTTP_CODE);
if ($http_code == 301 || $http_code == 302)
{
$matches = array();
preg_match('/Location:(.*?)\n/', $header, $matches);
$url = @parse_url(trim(array_pop($matches)));
if (!$url)
{
//couldn't process the url to redirect to
$curl_loops = 0;
return $data;
}
$last_url = parse_url(curl_getinfo($ch, CURLINFO_EFFECTIVE_URL));
if (!$url['scheme'])
$url['scheme'] = $last_url['scheme'];
if (!$url['host'])
$url['host'] = $last_url['host'];
if (!$url['path'])
$url['path'] = $last_url['path'];
$new_url = $url['scheme'] . '://' . $url['host'] . $url['path'] . ($url['query']?'?'.$url['query']:'');
curl_setopt($ch, CURLOPT_URL, $new_url);
debug('Redirecting to', $new_url);
return curl_redir_exec($ch);
} else {
$curl_loops=0;
return $data;
}
}

далее идут настройки curl`a, не забываем про curl_setopt($ch, CURLOPT_FOLLOWLOCATION, false);

а вызов $result = curl_exec($ch); меняем на $result = curl_redir_exec($ch);

[checky]

GTRxShock:

<?php

function curl_redir_exec($ch)
{
static $curl_loops = 0;
static $curl_max_loops = 20;
if ($curl_loops++ >= $curl_max_loops)
{
$curl_loops = 0;
return FALSE;
}
curl_setopt($ch, CURLOPT_HEADER, true);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, false);
$data = curl_exec($ch);
list($header, $data) = explode("\n\n", $data, 2);
$http_code = curl_getinfo($ch, CURLINFO_HTTP_CODE);
if ($http_code == 301 || $http_code == 302)
{
$matches = array();
preg_match('/Location:(.*?)\n/', $header, $matches);
$url = @parse_url(trim(array_pop($matches)));
if (!$url)
{
//couldn't process the url to redirect to
$curl_loops = 0;
return $data;
}
$last_url = parse_url(curl_getinfo($ch, CURLINFO_EFFECTIVE_URL));
if (!$url['scheme'])
$url['scheme'] = $last_url['scheme'];
if (!$url['host'])
$url['host'] = $last_url['host'];
if (!$url['path'])
$url['path'] = $last_url['path'];
$new_url = $url['scheme'] . '://' . $url['host'] . $url['path'] . ($url['query']?'?'.$url['query']:'');
curl_setopt($ch, CURLOPT_URL, $new_url);
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, false);
debug('Redirecting to', $new_url);
return curl_redir_exec($ch);
} else {
$curl_loops=0;
return $data;
}
}
$result = curl_redir_exec('https://api.vk.com/method/wall.getById?posts=11718...');
echo $result;
?>

что я делаю не так -

Warning: curl_setopt() expects parameter 1 to be resource, string given in /home/uXXX/public_html/test.php on line 12

Warning: curl_exec() expects parameter 1 to be resource, string given in /home/uXXX/public_html/test.php on line 15

Warning: curl_getinfo() expects parameter 1 to be resource, string given in /home/uXXX/public_html/test.php on line 17

спасибо)

[checky]

GTRxShock: и ещё хотел спросить - >p.s. не забываем, что это своего рода костыль, - в чём недостатки этого метода? или я неправильно понял смысл слова "костыль"

[GTRxShock]

Вы не читаете книги и не смотрите исходный код для начала)

я напишу набросок, чтобы была видна последовательность - дальше разбирайтесь сами

<?php

function curl_redir_exec ($ch) { ... }

function getPage($url) {
$ch = curl_init();
curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false);
curl_setopt($ch, CURLOPT_HEADER, false);
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, false);
curl_setopt($ch, CURLOPT_URL, $url);
curl_setopt($ch, CURLOPT_REFERER, $url);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
$result = curl_redir_exec($ch);
curl_close($ch);
return $result;
}

$res = getPage('https://api.vk.com/method/wall.getById?posts=11718...');
echo $res;

удачи в этом нелегком деле, она Вам несомненно пригодится :)

[checky]

GTRxShock: ахах, спасибо) я просто ещё не дошёл до этого, а хочу делать всё последовательно, нужен был просто вариант который работает и возвращает то что нужно.. в любом случае сейчас уже сажусь разбираться, и последнее -
<?php

function curl_redir_exec($ch)
{
static $curl_loops = 0;
static $curl_max_loops = 20;
if ($curl_loops++ >= $curl_max_loops)
{
$curl_loops = 0;
return FALSE;
}
curl_setopt($ch, CURLOPT_HEADER, true);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
$data = curl_exec($ch);
list($header, $data) = explode("\n\n", $data, 2);
$http_code = curl_getinfo($ch, CURLINFO_HTTP_CODE);
if ($http_code == 301 || $http_code == 302)
{
$matches = array();
preg_match('/Location:(.*?)\n/', $header, $matches);
$url = @parse_url(trim(array_pop($matches)));
if (!$url)
{
//couldn't process the url to redirect to
$curl_loops = 0;
return $data;
}
$last_url = parse_url(curl_getinfo($ch, CURLINFO_EFFECTIVE_URL));
if (!$url['scheme'])
$url['scheme'] = $last_url['scheme'];
if (!$url['host'])
$url['host'] = $last_url['host'];
if (!$url['path'])
$url['path'] = $last_url['path'];
$new_url = $url['scheme'] . '://' . $url['host'] . $url['path'] . ($url['query']?'?'.$url['query']:'');
curl_setopt($ch, CURLOPT_URL, $new_url);
debug('Redirecting to', $new_url);
return curl_redir_exec($ch);
} else {
$curl_loops=0;
return $data;
}
}

function getPage($url) {
$ch = curl_init();
curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false);
curl_setopt($ch, CURLOPT_HEADER, false);
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, false);
curl_setopt($ch, CURLOPT_URL, $url);
curl_setopt($ch, CURLOPT_REFERER, $url);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
$result = curl_redir_exec($ch);
curl_close($ch);
return $result;
}

$res = getPage('https://api.vk.com/method/wall.getById?posts=11718...');
echo $res;
?>

- пустая страница

[GTRxShock]

найдите кусок кода:
$data = curl_exec($ch);
list($header, $data) = explode("\n\n", $data, 2);
$http_code = curl_getinfo($ch, CURLINFO_HTTP_CODE);
if ($http_code == 301 || $http_code == 302)

и замените
list($header, $data) = explode("\n\n", $data, 2);
на
list($header, $data) = explode("\r\n\r\n", $data, 2);

[checky]

GTRxShock: тот же результат - пустая страница, без разбиения (или, к примеру с разбиением на букве r(точно есть в слове response) $data тоже ничего не показывает(

[Andrey Baranichenko]

Посмотрите здесь редирект

public function getPage($url){
        $ch = curl_init();
        curl_setopt($ch, CURLOPT_URL, $url);
        curl_setopt($ch, CURLOPT_HEADER, 1); // заголовк получаем тоже
        curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); // если не 0 возвращает результат а не выводит его в браузер
        curl_setopt ($ch , CURLOPT_USERAGENT , "Mozilla/5.0 (Windows; U; Windows NT 5.1; ru-RU; rv:1.7.12) Gecko/20050919 Firefox/1.0.7"); // каким браузером будем прикидываться
        //curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1); //переход при редиректе
        //curl_setopt($ch, CURLOPT_MAXREDIRS, 3); //макс количество переходов при редиректе
        $data = curl_exec($ch);
        $response_code =  curl_getinfo($ch,CURLINFO_HTTP_CODE);
        curl_close($ch);
 ////////////////////////////////
         if(!$response_code){
            $this->logMessage('Не удалось получить страницу '.$url.' код оширбки '.$response_code);
            return false;             
         }
        if($response_code == '301' || $response_code == '302'){
            preg_match('/Location:(.*?)\n/', $data, $matches);
            $newurl = trim(array_pop($matches));
            //curl_close ($ch);
            $this->logMessage('перенаправление  '.$url.' с  кодом ошибки '.$response_code.' на '.$newurl);

            $data = $this->getPage($newurl);
            
        }

проверено не на одном проекте отлично отрабатывает стопицот редиректов

[checky]

Andrey Baranichenko: спасибо за ответ, но нет:

<?php 
function getPage($url) {
        $ch = curl_init();
        curl_setopt($ch, CURLOPT_URL, $url);
        curl_setopt($ch, CURLOPT_HEADER, 1); // заголовк получаем тоже
        curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); // если не 0 возвращает результат а не выводит его в браузер
        curl_setopt ($ch , CURLOPT_USERAGENT , "Mozilla/5.0 (Windows; U; Windows NT 5.1; ru-RU; rv:1.7.12) Gecko/20050919 Firefox/1.0.7"); // каким браузером будем прикидываться
        //curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1); //переход при редиректе
        //curl_setopt($ch, CURLOPT_MAXREDIRS, 3); //макс количество переходов при редиректе
        $data = curl_exec($ch);
        $response_code =  curl_getinfo($ch,CURLINFO_HTTP_CODE);
        curl_close($ch);
 ////////////////////////////////
         if(!$response_code){
			 echo $response_code;
            return false;             
         }
        if($response_code == '301' || $response_code == '302'){
            preg_match('/Location:(.*?)\n/', $data, $matches);
            $newurl = trim(array_pop($matches));
            //curl_close ($ch);
            $this->logMessage('перенаправление  '.$url.' с  кодом ошибки '.$response_code.' на '.$newurl);

            $data = $this->getPage($newurl);
            
        }
		return $data;
}
$pleasework = getPage('https://api.vk.com/method/wall.getById?posts=117180742_8288');
echo $pleasework;
?>

> переписал вашу часть с $this->logMessage('Не удалось получить страницу '.$url.' код оширбки '.$response_code); чтобы посмотреть код ошибки - 0, нет ответа (до этого выдавало Fatal error: Using $this when not in object context in /testcurl.php on line 15)