Поможете настроить Curl парсинг?

Question

[Алекс Иванов]

Надо стягивать данные о сайтах. Все бы ничего, нашел хороший сервис, который поддерживает все зоны, делаю парсинг

$agent = 'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.0.3705; .NET CLR 1.1.4322)';

$url = "http://whois.domaintools.com/toster.ru";
$ch = curl_init($url);
curl_setopt($ch, CURLOPT_HEADER, 1);
$headers = array(
	'Content-type: application/xml'
);

curl_setopt($ch, CURLOPT_HTTPHEADER, $headers);
curl_setopt($ch, CURLOPT_COOKIEJAR, "cookies.txt");
curl_setopt($ch, CURLOPT_USERAGENT, $agent);
curl_setopt($curl, CURLOPT_REFERER, "http://whois.domaintools.com");
curl_setopt($ch,CURLOPT_RETURNTRANSFER, 1);
$result = curl_exec($ch);
curl_exec($ch);

curl_close($ch);

echo $result;

preg_match("/Created on (.*) Expires on/", $result, $matches);

echo $matches[1];

И после первого раза получаю ответ

DomainTools Lookup Limit

Thank you for using DomainTools for your domain research. You have reached the maximum number of lookups allowable as a free or guest user.

We invest a lot to bring our users the best research tools and the most accurate data. To increase your limit on the number of queries per day and to gain access to a broader set of tools, sign up at our Personal membership level.

При этом из браузера можно смотреть сколько угодно. Подозреваю что дело в заголовках. Можно как-то полностью имитировать браузер юзера?

Answer 1

[Алексей]

Может быть вам воспользоваться готовым решением - https://github.com/regru/php-whois ?

Comments

[Алекс Иванов]

А какие зоны он берет? Мне, кроме стандартных, нужны такие "экзотические" как .tv , .club ит.д.

[Алексей]

Protossan: https://github.com/regru/php-whois/blob/master/src... - адреса whois серверов там. Сам скрипт, возможно, заточен на "домен доступен" и "домен недоступен", но список whois и алгоритм их опроса можно позаимствовать.

[Алексей]

Protossan: TV и CLUB в списке присутствуют.

[Алекс Иванов]

Спасибо!

Answer 2

[Олег]

curl_setopt($curl, CURLOPT_REFERER, "http://google.com");

И profit ;)

Comments

[Алекс Иванов]

реферер у меня указан, это не помогает

[Олег]

Protossan: пропиши google

[Олег]

Protossan: Значит скорее всего твой хост уже в бане ;)) У меня все работает

[Алекс Иванов]

Т.е. обновляете много раз и отдает инфу? Спасибо, попробую сейчас проксю заюзать.

Да, попробовал гугл и та же лажа. Спасибо за тест!

[Олег]

И тебе явно предлагаю, что бы парсить увеличить купить доступ

[Алекс Иванов]

не уверен что они позволят залогиниться курлом