Почему cURL скачивает не всю страницу?

Question

[Сергей Ноздрин]

Здравствуйте!

Уже давно у меня на сайте стоял скрипт парсинга моего партнера - другого сайта. Вся задача парсинга состоит в скачивании пару раз в день содержимого страницы сайта-партнера и поиск ключевых слов.

Сегодня все вдруг сломалось. Прошу сообщество помочь разобраться в чем причина.

Парсинг производился так:

$ch = curl_init ();
curl_setopt ($ch , CURLOPT_URL , 'http://www.vkbn.ru/rostov/suvorovskiy/flats/1526/');
curl_setopt ($ch , CURLOPT_USERAGENT , "Mozilla/5.0 (Windows; U; Windows NT 5.1; ru-RU; rv:1.7.12) Gecko/20050919 Firefox/1.0.7");
curl_setopt ($ch , CURLOPT_RETURNTRANSFER , 1 );
$flat_page = curl_exec($ch); 
curl_close($ch);

В результате теперь я получаю только кусок нужно страницы, а не ее всю. Такой же результат и при попытке закачать страницу через file_get_content. Может, кто-то сталкивался с подобной ситуацией?

P.S. Кстати, точно такая же ситуация, если закачивать эту страницу с десктопа через wget. Обрезает страничку в том же месте.

Comments

[OVK2015]

А какой части вы не сейчас не видите? Что именно с этой страницы вы для себя забирали?

Answer 1

[Andrzej Wielski]

Не вижу проблем, у меня на локалке все отлично подгрузилось.
Через wget так же.
Пинайте своего хостера. Может ограничение какое-то.

P.S. Массив в исходном коде с display none это мощно. Вы хотя-бы API сделайте в целях обмена информацией, не засоряйте этим исходный код. Для SEO как минимум вредно.

Comments

[Сергей Ноздрин]

Да, я уже разобрался в итоге. Сработал такой код:

// Скачка страницы
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, $liter_link);
curl_setopt($ch, CURLOPT_HTTPHEADER, array('Accept-Encoding: gzip'));
curl_setopt ($ch, CURLOPT_RETURNTRANSFER, 1);
$flat_page = curl_exec($ch);
$flat_page = gzinflate(substr($flat_page,10));

А вот влиять на сайт - партнер я не могу, к сожалению... им пофиг. А мне что? Я все-равно в этом мусоре только несколько ключевых слов ищу.)