Может ли не работать cURL из-за CloudFlare?

Question

[Matthew Stafford]

Всем привет! Сегодня подключил CloudFlare и может ли из-за него теперь не работать cURL? На локалке все окей, а тут никак вообще не идет.

Comments

[Дмитрий Кузнецов]

Какие ошибки то выдаёт?

[Matthew Stafford]

Дмитрий Кузнецов, ошибок никаких, он просто очень долго что-то пытается загрузить, а потом выдает просто пустую страницу.

[Matthew Stafford]

Дмитрий Кузнецов, connect() timed out!

[Mr_Cheater]

Да, CloudFlare вообще легко может рубить такие запросы. У меня даже не проходит curl на тот же домен, с какого он был инициирован.

Answer 1

[Александр Аксентьев]

Какой курл-то? Пытаетесь curlить сайт который подключили к CF или с этого сайта куда-то еще curl запросы шлёте?

Если второй вариант, то CF здесь не причем, он же на вход трафик принимает и фильтрует, и к вашему серверу никак не относится и выходу в интернет с него.

Comments

[Matthew Stafford]

Вариант второй. На локалке все работало как часы, а на хостинге вообще никак не работает, никакого ответа от cURL нет, просто бесконечная загрузка страницы до таймаута и вывод ошибки connect() timed out!

[Dimonchik]

отладку включи

[Александр Аксентьев]

Matthew Stafford, ну значит то что вы парсите недоступно с вашего сервера.

Например целевой сайт забанил страну/подсети датацентров чтобы его не парсили.

[Matthew Stafford]

Александр Аксентьев, а каким образом это можно узнать?

[Matthew Stafford]

dimonchik2013, там ничего кроме таймаута нет

$headers = Array(
	'accept' => 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8',
	'content-type' => 'application/x-www-form-urlencoded',
	'user-agent' => 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/46.0.2490.86 Safari/537.36'
);

$get_main_page = post('https://vk.com', Array(
	'headers' => Array(
		'accept: '.$headers['accept'],
		'content-type: '.$headers['content-type'],
		'user-agent: '.$headers['user-agent']
	)
));

function post($url = null, $params = null, $proxy = null, $proxy_userpwd = null) {
	$ch = curl_init();

	curl_setopt($ch, CURLOPT_URL, $url);
	curl_setopt($ch, CURLOPT_HEADER, 1);
	curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
	curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, 60);
	curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, 0);
	curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, 2);
	
	$fOut = fopen($_SERVER["DOCUMENT_ROOT"].'/'.'curl_out.txt', "w" );
	curl_setopt ($ch, CURLOPT_VERBOSE, 1);
	curl_setopt ($ch, CURLOPT_STDERR, $fOut );

	if(isset($params['params'])) {
		curl_setopt($ch, CURLOPT_POST, 1);
		curl_setopt($ch, CURLOPT_POSTFIELDS, $params['params']);
	}

	if(isset($params['headers'])) {
		curl_setopt($ch, CURLOPT_HTTPHEADER, $params['headers']);
	}

	if(isset($params['cookies'])) {
		curl_setopt($ch, CURLOPT_COOKIE, $params['cookies']);
	}

	if($proxy) {
		curl_setopt($ch, CURLOPT_PROXY, $proxy);

		if($proxy_userpwd) {
			curl_setopt($ch, CURLOPT_PROXYUSERPWD, $proxy_userpwd);
		}
	}

	if(!$result = curl_exec($ch)) {
		$result = curl_error($ch);
	}
	print_r(curl_getinfo($ch));
	$result_explode = explode("\r\n\r\n", $result);

	$headers = ((isset($result_explode[0])) ? $result_explode[0]."\r\n" : '').''.((isset($result_explode[1])) ? $result_explode[1] : '');
	$content = $result_explode[count($result_explode) - 1];

	preg_match_all('|Set-Cookie: (.*);|U', $headers, $parse_cookies);

	$cookies = implode(';', $parse_cookies[1]);

	curl_close($ch);

	return Array('headers' => $headers, 'cookies' => $cookies, 'content' => $content);
}

[Александр Аксентьев]

Matthew Stafford, ну так если доступа нет на сайт, то и будет таймаут.

Узнать никак.
Пробовать через прокси.

[Matthew Stafford]

Александр Аксентьев, подключил прокси, отдал такой ответ:

* About to connect() to proxy 91.77.162.117 port 8080 (#0)
*   Trying 91.77.162.117... * connected
* Connected to 91.77.162.117 (91.77.162.117) port 8080 (#0)
* Establish HTTP proxy tunnel to login.vk.com:443
> CONNECT login.vk.com:443 HTTP/1.1
Host: login.vk.com:443
Proxy-Connection: Keep-Alive
accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8
content-type: application/x-www-form-urlencoded
user-agent: Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/46.0.2490.86 Safari/537.36

< <html>
< <head><title>400 Bad Request</title></head>
< <body bgcolor="white">
< <center><h1>400 Bad Request</h1></center>
< <hr><center>nginx</center>
< </body>
< </html>
* Proxy CONNECT aborted
* Closing connection #0