Как парсить подгружаемые данные сайта?

Question

[Muslim Mamaev]

Здравствуйте! Написал парсер Новости кино Вот не могу спарсить подгружаемые новости. Новости подгружаются при клике "Ещё". Кому не сложно дайте готовое решение.Почти недели вожусь с этим. Вот сам парсер

<?php
include 'sys/head.php';

?><script>



</script><?


$id = $_GET['id'];

$file = file_get_contents('https://www.kinomania.ru/news/'. (!empty($id) ? $id : ''));

$file=str_replace('<?xml version="1.0" encoding="utf-8"?>','',$file);
//$file=preg_replace('|<!DOCTYPE(.*?)</div>|is','',$file);
$file=str_replace('<div class="cover js-b-lazy fadeIn animated" style="background-image: url(/theme/img/', '<div class="cover js-b-lazy fadeIn animated" style="background-image: url(https://kinso.ru/theme/img/', $file);


$file=str_replace('<link rel="stylesheet" href="//fs.kinomania.ru/app/css/min.css?v=1.0.3">','', $file);
$file=str_replace('<div class="banner">','</div></div></div>', $file);
$file=str_replace('<div style="text-align: center">','</div></div></div>', $file);
$file=str_replace('<div style="display: inline-block">','</div></div>', $file);


$file=str_replace('href="/news/','href="/?id=', $file);
$file = str_replace(':0" data-original="//', '', $file);

//$file=preg_replace('|<script>(.*?)</script>|is','',$file);
//$url = preg_replace("/.+document\.location\.href=\"(.+?)\".+/", "$1", $content); 

$file=preg_replace('|<div class="tags news-tags">(.*?)</html>|is','',$file);
$file=preg_replace('|<div class="footer">(.*?)<!-- bxSlider Javascript file -->|is','',$file);
$file=preg_replace('|<div class="outer-social clear">(.*?)</div>|is','',$file);
$file=preg_replace('|<div class="outer">(.*?)</header>|is','',$file);
$file=preg_replace('|<aside(.*?)</aside>|is','',$file);


//$file=preg_replace('|<script>(.*?)</script>|is','',$file);

$file=str_replace('<?xml version="1.0" encoding="UTF-8"?>','', $file);
$file=str_replace('<div class="gb">  </div>', '', $file);
$file=str_replace('<div class="gd"></div>', '', $file);
$file=str_replace('<div class="s">  </div>', '', $file);
$file=str_replace('<div class="gd"></div>', '', $file);
$file=str_replace('<div class="hdr"><img src="/res/hdr.png" alt="WEP.RU"/></div>', '', $file);
$file=str_replace('<div class="gbf"></div>', '', $file);
$file=str_replace('<div class="zag2">','', $file);
$file=str_replace('<div class="save">','', $file);


echo $file;

include 'sys/foot.php';
?>

Пример

Comments

[Muslim Mamaev]

Не ужели никто не хочет мне помочь?

[Дмитрий]

Muslim Mamaev, изначально вы делаете не верно, надо не менять исходник, а забирать нужное, то есть данные, а вывод уже самому делать. Ну и тут помогают, а не делают за вас

Answer 1

[Newto]

Если зайти на страницу, на которую вы дали ссылку и взглянуть на её код, то можно увидеть, что при клике на "еще" отправляется POST запрос. На какой адрес отправляется и что -- вы сами сможете увидеть (скрипт в самом низу). Ответом за такой запрос будет json с нужными вам записями. Вот вы сами их отправляйте, такие запросы, получайте эту инфу и делайте с ней дальше что вам нужно. Небольшая подсказка -- сайт не примет запросы если в них не будет заголовков user-agent и x-requested-with.

Comments

[Muslim Mamaev]

Спасибо за ответ! Всё что вы описали это мне понятно.Вот как это всё реализовать, к сожалению не умею. Если это не трудная задача,вы не могли бы это сделать? Дать мне готовый код, который решит вопрос.

[Newto]

Muslim Mamaev, Боюсь, что за вас тут вряд ли кто-то будет делать ваши задачи. Тут вы можете только спросить "как", но реализация ваших задач остаётся за вами. Могу лишь подсказать еще -- читайте про CURL, как отправлять запросы на сервер(в вашем случае POST запросы). Далее, когда получите json из запроса, то декодируйте его с помощью функции json_decode и работайте с полученными данными.

[Muslim Mamaev]

Newto, Я так же делал как вы просили. Если парсить таким способом, то у них включается зашита

[Newto]

Muslim Mamaev, Как я писал выше -- " сайт не примет запросы если в них не будет заголовков user-agent и x-requested-with". Делайте POST запросы с этими заголовками, я даже скрин прикрепил с их значениями и получите искомый json.

[Модератор]

Muslim Mamaev, рекомендую послушать рекомендации, попытаться воплотить самостоятельно и, если что-то не получается, приходить с новым вопросом, в котором привести свой код и что ожидалось и что получилось. За готовыми решениями на фриланс.

См.п.5.12 правил.

[Дмитрий]

Muslim Mamaev, добавьте к курл запросу

curl_setopt($ch, CURLOPT_HTTPHEADER, ['X-Requested-With: XMLHttpRequest']);

[Muslim Mamaev]

Дмитрий, Как добавляю ваш код, выдаёт ошибка 404.

[Дмитрий]

Muslim Mamaev, покажите ваш код

[Muslim Mamaev]

Дмитрий, Вот код

<?php
include 'sys/head.php';
require_once "simple_html_dom.php";
function curl_get($url){ 
$curl = curl_init();
curl_setopt($curl, CURLOPT_URL, $url); 
curl_setopt($curl,CURLOPT_USERAGENT,'Opera/9.80 (Windows NT 5.1; U; ru) Presto/2.2.15 Version/10.10'); 
curl_setopt($curl, CURLOPT_REFERER, "http://www.google.com/bot.html"); 
curl_setopt($curl, CURLOPT_RETURNTRANSFER,1); 
curl_setopt($curl, CURLOPT_TIMEOUT, 30); 
curl_setopt($curl, CURLOPT_POST, true);
curl_setopt($curl, CURLOPT_HTTPHEADER, ['X-Requested-With: XMLHttpRequest']);
$cnt = curl_exec($curl); 
curl_close($curl); 
return $cnt; 
}

$file = curl_get("https://www.kinomania.ru/news".$_GET['$id']);
##########################################

$file=str_replace('<?xml version="1.0" encoding="utf-8"?>','',$file);
//$file=preg_replace('|<!DOCTYPE(.*?)</div>|is','',$file);
$file=str_replace('<div class="cover js-b-lazy fadeIn animated" style="background-image: url(/theme/img/', '<div class="cover js-b-lazy fadeIn animated" style="background-image: url(https://kinso.ru/theme/img/', $file);
$file=str_replace('<div class="gb"> <a href="?id=all">На главную</a> </div>', '', $file);

$file=str_replace('<link rel="stylesheet" href="//fs.kinomania.ru/app/css/min.css?v=1.0.3">','', $file);
$file=str_replace('<div class="banner">','</div></div></div>', $file);
$file=str_replace('<div style="text-align: center">','</div></div></div>', $file);
$file=str_replace('<div style="display: inline-block">','</div></div>', $file);
$file=str_replace('href="/news/','href="/?id=', $file);
$file = str_replace(':0" data-original="//', '', $file);


$file=preg_replace('|<div class="tags news-tags">(.*?)</html>|is','',$file);
$file=preg_replace('|<div class="footer">(.*?)<!-- bxSlider Javascript file -->|is','',$file);
$file=preg_replace('|<div class="outer-social clear">(.*?)</div>|is','',$file);
$file=preg_replace('|<div class="outer">(.*?)</header>|is','',$file);
$file=preg_replace('|<aside(.*?)</aside>|is','',$file);


$file=str_replace('<?xml version="1.0" encoding="UTF-8"?>','', $file);
$file=str_replace('<div class="gb">  </div>', '', $file);
//$file=str_replace('<div>  </div>', '', $file);
$file=str_replace('<div class="gd"></div>', '', $file);
$file=str_replace('<div class="s">  </div>', '', $file);
$file=str_replace('<div class="gd"></div>', '', $file);
$file=str_replace('<div class="hdr"><img src="/res/hdr.png" alt="WEP.RU"/></div>', '', $file);
$file=str_replace(' <div class="bdc"><strong>Бесплатное видео</strong></div>     <div class="gb"> ТВ-проекты: </div>', '', $file);
$file=str_replace('<div class="gbf"></div>', '', $file);
$file=str_replace('<a href="https://m.anwap.love/enter">Вход</a> |<a href="https://m.anwap.love/reg">Регистрация</a>','', $file);
$file=str_replace('<div class="zag2">','', $file);
$file=str_replace('<div class="save">','', $file);
$file = preg_replace('#btcop(.*?)</div>#su','',$file);
$file = preg_replace('#sfc(.*?)</div>#su','',$file);
$file = preg_replace('#<span id="navbarName(.*?)</span>#su','',$file);

##########################################

echo $file; 

include 'sys/foot.php';

Помогите пожалуйста сделать это парсер для моего киносайта. Недели уже как ломаю голову.

[Дмитрий]

Muslim Mamaev, в функции curl_get добавьте строку, изменить только $ch на $curl

[Muslim Mamaev]

Дмитрий, В коде $ch нету, везде $curl же

[Muslim Mamaev]

Дмитрий, Пример кусок кода можно?

[Дмитрий]

Muslim Mamaev, ну как минимум там https

curl_setopt($curl, CURLOPT_SSL_VERIFYHOST, 0);
curl_setopt($curl, CURLOPT_SSL_VERIFYPEER, 0);
curl_setopt($curl, CURLOPT_FOLLOWLOCATION, 1);
curl_setopt($curl, CURLOPT_AUTOREFERER, 1);
curl_setopt($curl, CURLOPT_COOKIEFILE, dirname(__FILE__).'/cookie.txt');
curl_setopt($curl, CURLOPT_COOKIEJAR, dirname(__FILE__).'/cookie.txt');
curl_setopt($curl, CURLOPT_REFERER, $url);
curl_setopt($curl, CURLOPT_HTTPHEADER, ['X-Requested-With: XMLHttpRequest', 'Content-Type: application/x-www-form-urlencoded; charset=UTF-8']);
curl_setopt($curl, CURLOPT_ENCODING, 'utf-8');

Попробуйте ещё это, заголовки изменил

[Muslim Mamaev]

Дмитрий, Не работает Пример

[Дмитрий]

Muslim Mamaev, смущает строчка

$file = curl_get("https://www.kinomania.ru/news".$_GET['$id']);

тут слэш не нужен случаем?

[Muslim Mamaev]

Дмитрий, Пробовал и без слэша

[Дмитрий]

Muslim Mamaev, он там нужен news/60650, у вас в коде его нет

[Дмитрий]

Muslim Mamaev, у вас вообще не работает курл, или только конкретный запрос?

[Muslim Mamaev]

Дмитрий, Вы не могли бы грамотно спарсить просто этот сайт.Вырезать ничего не надо.Я это умею.

[Дмитрий]

/rss/news/films.xml

/rss/trailers/index.xml

/rss/news/usa_serials.xml

[Muslim Mamaev]

Дмитрий, Не понял вас

[Дмитрий]

Muslim Mamaev, домен сами подставьте и посмотрите

[Muslim Mamaev]

Дмитрий, Посмотрел, и что мне дальше делать?