m0pfin
@m0pfin

Как спарсить данные которые скрыты за JS?

Есть сайт на котором вводишь запрос, после чего получаешь выдачу, по запросу, CURL авторизуюсь на сайте, захожу на нужную страницу, и CURL не видит что парсить из-за того что выдача показывается JS скриптом

/*1. Парсим выдачу   */
    /*1.1 Задаём параметры для парсинга   */
    
    $text_for_pars = "Эхолот"; // Запрос для парсинга
    $dateFrom = '2018-07-10'; //С какой даты искать
    $dateTo = '2018-07-24'; // по какую дату искать
    $url_search = "https://site.ru"; // УРЛ для поиска ВК
    $post = "/#datefrom=$dateFrom&dateto=$dateTo&sort=date&sortDir=desc&onpage=100&fromEx=&text=$text_for_pars&links=&pic_link=&pic_md5=&group=&cpmTo=&cpmfrom=&likesFrom=&priceFrom=&priceTo=&erFrom=&countryRU=&countryUA=&countryBY=&countryKZ=&pics=&page=1&ch=false&search=posts";

    
    curl_setopt($curl, CURLOPT_ENCODING , "gzip");
    curl_setopt($curl, CURLOPT_RETURNTRANSFER, true); 
    curl_setopt($curl, CURLOPT_FOLLOWLOCATION, true); 
    curl_setopt($curl, CURLOPT_SSL_VERIFYPEER, false);
    curl_setopt($curl, CURLOPT_SSL_VERIFYHOST, false);
    curl_setopt($curl, CURLOPT_COOKIE, $sess_cookie); //а вот тут внимательнее! не забываем показать серверу наши, полученные ранее кукисы
    curl_setopt($curl, CURLOPT_URL, $url_search);
    curl_setopt($curl, CURLOPT_POSTFIELDS, $post);
    $html = curl_exec($curl);
    echo $html;
  • Вопрос задан
  • 91 просмотр
Пригласить эксперта
Ответы на вопрос 1
@alexandrraizer
PHP developer
Можно использовать Selenium либо chrome cli либо разобраться как страница формируется через js.
Ответ написан
Комментировать
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Похожие вопросы
28 нояб. 2024, в 11:20
50000 руб./за проект
28 нояб. 2024, в 10:57
50000 руб./за проект
28 нояб. 2024, в 10:52
10000 руб./за проект