Всем привет.
Ребят, такой вопрос, хочу сделать скрипт, простой, что бы спарсить все новости со свой странице. Кому-то может показаться глупой, но надо. Это связано не только с хотелкой, но и дабы поучиться в программировании, в работе с парсингом.
Вопрос простой.
Когда использую curl, страница подгружается для дальнейшего парсинга, но грузятся только последние 5-10 новостей и все. Как сделать, что бы к примеру грузилось последние 100 новостей, потому что грузить всю стену не имеет смысла?
$urlTo = 'http://vk.com/'.$id; // Куда данные послать
$ch = curl_init(); // Инициализация сеанса
curl_setopt($ch, CURLOPT_URL, $urlTo); // Куда данные послать
curl_setopt($ch, CURLOPT_HEADER, 0); // получать заголовки
curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, 20);
curl_setopt($ch, CURLOPT_USERAGENT,'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/33.0.1750.154 Safari/537.36');
curl_setopt($ch, CURLOPT_REFERER, 'http://vk.com');
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1); // Говорим скрипту, чтобы он следовал за редиректами которые происходят во время авторизации
curl_setopt ($ch, CURLOPT_HTTPHEADER, array('Expect:')); // это необходимо, чтобы cURL не высылал заголовок на ожидание
$tempRes = curl_exec($ch);
curl_close($ch); // Завершаем сеанс
