m0pfin
@m0pfin

Как спарсить данные которые скрыты за JS?

Есть сайт на котором вводишь запрос, после чего получаешь выдачу, по запросу, CURL авторизуюсь на сайте, захожу на нужную страницу, и CURL не видит что парсить из-за того что выдача показывается JS скриптом

/*1. Парсим выдачу   */
    /*1.1 Задаём параметры для парсинга   */
    
    $text_for_pars = "Эхолот"; // Запрос для парсинга
    $dateFrom = '2018-07-10'; //С какой даты искать
    $dateTo = '2018-07-24'; // по какую дату искать
    $url_search = "https://site.ru"; // УРЛ для поиска ВК
    $post = "/#datefrom=$dateFrom&dateto=$dateTo&sort=date&sortDir=desc&onpage=100&fromEx=&text=$text_for_pars&links=&pic_link=&pic_md5=&group=&cpmTo=&cpmfrom=&likesFrom=&priceFrom=&priceTo=&erFrom=&countryRU=&countryUA=&countryBY=&countryKZ=&pics=&page=1&ch=false&search=posts";

    
    curl_setopt($curl, CURLOPT_ENCODING , "gzip");
    curl_setopt($curl, CURLOPT_RETURNTRANSFER, true); 
    curl_setopt($curl, CURLOPT_FOLLOWLOCATION, true); 
    curl_setopt($curl, CURLOPT_SSL_VERIFYPEER, false);
    curl_setopt($curl, CURLOPT_SSL_VERIFYHOST, false);
    curl_setopt($curl, CURLOPT_COOKIE, $sess_cookie); //а вот тут внимательнее! не забываем показать серверу наши, полученные ранее кукисы
    curl_setopt($curl, CURLOPT_URL, $url_search);
    curl_setopt($curl, CURLOPT_POSTFIELDS, $post);
    $html = curl_exec($curl);
    echo $html;
  • Вопрос задан
  • 90 просмотров
Пригласить эксперта
Ответы на вопрос 1
@alexandrraizer
PHP developer
Можно использовать Selenium либо chrome cli либо разобраться как страница формируется через js.
Ответ написан
Комментировать
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы