Что я делаю не так при парсинге?

Question

[hrvasiliy]

Имеется сайт-донор, пытаюсь взять с него информацию и записать ее в файл. (Дней 10-15 назад все отлично парсилось при момощи CURL'a). Сейчас же, в файл записывается информация о том, что требуется включить JS, меняю метод получения страницы с CURL'a на PhantomJS и выдает ту же ошибку. Не понимаю, сайт-донор усилил защиту? Как же тогда получать информацию?

function curl($url, $userAgent = null, $proxy = null, $referer = null)
{
$curl = curl_init();
curl_setopt($curl, CURLOPT_URL, $url);
curl_setopt($curl, CURLOPT_USERAGENT, $userAgent);
curl_setopt($curl, CURLOPT_HEADER, 0);
curl_setopt($curl, CURLOPT_RETURNTRANSFER, true);
curl_setopt($curl, CURLOPT_REFERER, $referer);
curl_setopt($curl, CURLOPT_PROXY, $proxy);
curl_setopt($curl, CURLOPT_FOLLOWLOCATION, 1);
$out = curl_exec($curl);
curl_close($curl);

return $out;
}

Comments

[Алексей Яхненко]

тут телепатов нет, если что.

[hrvasiliy]

Алексей Яхненко: что не понятно? Ответ сайта я сообщил, чем пользуюсь я - сообщил.

[Roman K]

hrvasiliy: Телепатов нет. Что не понятно?

[hrvasiliy]

Roman Kitaev: ну как, сейчас нормально?

[Roman K]

hrvasiliy: Не очень.

[Андрей]

какой адрес у той странице, которую парсите?

Answer 1

[Stalker_RED]

сайт-донор усилил защиту?

Вероятно. Зайдите с чистого бразузера (приватный режим вам в помощь), посмотрите какие куки создаются, добавьте их в запрос CURL.

Comments

[hrvasiliy]

Попробую, но как я уже говорил, выдает ошибку о том, что нет JS (а у CURL'a нет JS)

[hrvasiliy]

hrvasiliy: Отправил те куки, что сайт ставил браузеру. Работает, но кривовато. И все же это решение!

Answer 2

[Александр Таратин]

Активировав максимальный уровень телепатии, предположу следующее.

информация о том, что требуется включить JS

Сайт донор перешел на ajax и подгрузку данных основных через js.
Пользователям без js выдается заглушка с просьбой включить js, что вы и видите в ответе CURL.

Посмотрите какие ajax запросы шлет страница донор на сервер и попытайтесь воспроизвести их через curl уже у себя на сервере.

Comments

[hrvasiliy]

Уровень телепатии у вас неплохой, только вот если я использую PhantomJS, заглушки не должно быть, но она так же присутствует, хотя я так же проверял PhantomJS на других сайтах, на которых контент полностью генерируются на JS - там работает.

[Александр Таратин]

hrvasiliy: Сайт донор показать не хотите?

[hrvasiliy]

Александр Таратин: Точно такой же ответ при CURL и при PhantomJS

[Александр Таратин]

hrvasiliy: При загрузке страницы шлется POST запрос по этому же адресу. Просто изучите отсылаемые параметры в инспекторе браузера и воспроизведите их в своем CURL запросе.

[hrvasiliy]

Александр Таратин: получается сначала открывается страница с формой, автоматически генерирует содержимое формы и сразу же шлется post запрос? Сам post отсылается автоматически через JS?

Answer 3

[Александр Мелеховец]

Обратитесь с этим вопросом к разработчикам сайта-"донора". Попросите совета, поинтересуйтесь наличием API или возможности сделать выгрузку базы. В идеале, расскажите им, как вас можно найти в реальном мире, тогда высока вероятность, что они сами всё сделают.