Как узнать количество страниц в индексе Google?

Question

[TotTip]

Здравствуйте!
Как узнать количество страниц в индексе Google?
может быть есть какое то API для этого?
попробовал через curl получить страницу https://www.google.com/search?hl=ru&q=site:site.ru и парсить её, но количество страниц отображается только в браузере, при получении страницы через curl приходит другая страница с результатами (без этих данных)

Answer 1

[twobomb]

Не знаю, проверил у меня всё работает

<?PHP
$ch = curl_init();
$site = "https://habr.com/";
$url = "https://www.google.com/search?hl=ru&q=site:$site";
curl_setopt($ch, CURLOPT_URL, $url);
curl_setopt($ch, CURLOPT_HEADER, 0);
curl_setopt($ch, CURLOPT_RETURNTRANSFER , true);
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true);
curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, false);
curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false);
curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:50.0) Gecko/20100101 Firefox/50.0');
$content = curl_exec($ch);
if(!$content){
    echo 'Ошибка curl: ' . curl_error($ch);
	die;
}

curl_close($ch);

if(preg_match("/Результатов:\s*(примерно)?\s*([^(]+)/",$content,$matches))
	echo "Количество: ".$matches[2];
else
	echo "Не найдено";
?>

P.S. Ну врядли это все страницы, если вы для своего сайта, то используйте гугл сёрч консоле

Comments

[TotTip]

Да, действительно!
Спасибо)
у меня отсутствовали CURLOPT_SSL_VERIFYHOST, CURLOPT_SSL_VERIFYPEER и CURLOPT_USERAGENT
видимо в этом было дело

Answer 2

[Dimonchik]

АПИ нет, парси селениумом

автопарсинг Гугл требует знаний