Как спарсить число страниц в search.aol.com?

Question

[Алекс Иванов]

Пробую определить число страниц сайта через search.aol.com

$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, "http://search.aol.com/aol/search?s_chn=prt_btest1-g&q=site%3Ahttps%3A%2F%2Ftoster.ru&s_it=comsearch");
curl_setopt($ch, CURLOPT_HEADER, 0);
curl_setopt($ch, CURLOPT_REFERER, "http://search.aol.com/");
curl_setopt($ch, CURLOPT_USERAGENT, "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.0.6) Gecko/20060728 Firefox/1.5");
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true);
$strg=curl_exec($ch);
curl_close($ch);
echo $strg;
preg_match("/<div id=\"result-count\">About(.*)results<\/div>/s", $strg,$find);
 
if(preg_match("/Your search returned no results./s", $strg)){$resg=0;} else {$resg=trim($find['1']);}

echo $resg;

В результате вижу вот такое

Хотя сам запрос search.aol.com/aol/search?s_chn=prt_btest1-g&q=sit... дает страницу для парсинга. В чем может быть проблема? Этот же код на гугле прекрасно работает

Answer 1

[Rou1997]

Значит есть разница между запросом от браузера и запросом от curl, вот и у вас тоже пришла пора осваивать отладчик, в данном случае сниффер, их довольно много - Fiddler, Wireshark, Charles и т.п., мой вам совет, не увиливайте от этого, не бегите от проблем, а решайте их, а то так и останетесь слепым, программист без отладчика слеп!

Comments

[Алекс Иванов]

пробую :) пока что не получается, поэтому и спрашиваю

Answer 2

[Dimonchik]

Имей в виду - Бинг славен тем, что парсящим умникам сует левую выдачу

Comments

[Алекс Иванов]

это я уже понял :) пришлось изменять код чтобы он понял что именно я хочу