Задать вопрос
m0pfin
@m0pfin

Как спарсить данные которые скрыты за JS?

Есть сайт на котором вводишь запрос, после чего получаешь выдачу, по запросу, CURL авторизуюсь на сайте, захожу на нужную страницу, и CURL не видит что парсить из-за того что выдача показывается JS скриптом

/*1. Парсим выдачу   */
    /*1.1 Задаём параметры для парсинга   */
    
    $text_for_pars = "Эхолот"; // Запрос для парсинга
    $dateFrom = '2018-07-10'; //С какой даты искать
    $dateTo = '2018-07-24'; // по какую дату искать
    $url_search = "https://site.ru"; // УРЛ для поиска ВК
    $post = "/#datefrom=$dateFrom&dateto=$dateTo&sort=date&sortDir=desc&onpage=100&fromEx=&text=$text_for_pars&links=&pic_link=&pic_md5=&group=&cpmTo=&cpmfrom=&likesFrom=&priceFrom=&priceTo=&erFrom=&countryRU=&countryUA=&countryBY=&countryKZ=&pics=&page=1&ch=false&search=posts";

    
    curl_setopt($curl, CURLOPT_ENCODING , "gzip");
    curl_setopt($curl, CURLOPT_RETURNTRANSFER, true); 
    curl_setopt($curl, CURLOPT_FOLLOWLOCATION, true); 
    curl_setopt($curl, CURLOPT_SSL_VERIFYPEER, false);
    curl_setopt($curl, CURLOPT_SSL_VERIFYHOST, false);
    curl_setopt($curl, CURLOPT_COOKIE, $sess_cookie); //а вот тут внимательнее! не забываем показать серверу наши, полученные ранее кукисы
    curl_setopt($curl, CURLOPT_URL, $url_search);
    curl_setopt($curl, CURLOPT_POSTFIELDS, $post);
    $html = curl_exec($curl);
    echo $html;
  • Вопрос задан
  • 91 просмотр
Подписаться 1 Простой 1 комментарий
Пригласить эксперта
Ответы на вопрос 1
@alexandrraizer
PHP developer
Можно использовать Selenium либо chrome cli либо разобраться как страница формируется через js.
Ответ написан
Комментировать
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Похожие вопросы