Задать вопрос
m0pfin
@m0pfin

Как спарсить данные которые скрыты за JS?

Есть сайт на котором вводишь запрос, после чего получаешь выдачу, по запросу, CURL авторизуюсь на сайте, захожу на нужную страницу, и CURL не видит что парсить из-за того что выдача показывается JS скриптом

/*1. Парсим выдачу   */
    /*1.1 Задаём параметры для парсинга   */
    
    $text_for_pars = "Эхолот"; // Запрос для парсинга
    $dateFrom = '2018-07-10'; //С какой даты искать
    $dateTo = '2018-07-24'; // по какую дату искать
    $url_search = "https://site.ru"; // УРЛ для поиска ВК
    $post = "/#datefrom=$dateFrom&dateto=$dateTo&sort=date&sortDir=desc&onpage=100&fromEx=&text=$text_for_pars&links=&pic_link=&pic_md5=&group=&cpmTo=&cpmfrom=&likesFrom=&priceFrom=&priceTo=&erFrom=&countryRU=&countryUA=&countryBY=&countryKZ=&pics=&page=1&ch=false&search=posts";

    
    curl_setopt($curl, CURLOPT_ENCODING , "gzip");
    curl_setopt($curl, CURLOPT_RETURNTRANSFER, true); 
    curl_setopt($curl, CURLOPT_FOLLOWLOCATION, true); 
    curl_setopt($curl, CURLOPT_SSL_VERIFYPEER, false);
    curl_setopt($curl, CURLOPT_SSL_VERIFYHOST, false);
    curl_setopt($curl, CURLOPT_COOKIE, $sess_cookie); //а вот тут внимательнее! не забываем показать серверу наши, полученные ранее кукисы
    curl_setopt($curl, CURLOPT_URL, $url_search);
    curl_setopt($curl, CURLOPT_POSTFIELDS, $post);
    $html = curl_exec($curl);
    echo $html;
  • Вопрос задан
  • 100 просмотров
Подписаться 1 Простой 1 комментарий
Помогут разобраться в теме Все курсы
  • Skillbox
    Веб-разработчик на PHP
    9 месяцев
    Далее
  • Хекслет
    PHP-разработчик
    10 месяцев
    Далее
  • Нетология
    Веб-разработчик с нуля: профессия с выбором специализации
    14 месяцев
    Далее
Пригласить эксперта
Ответы на вопрос 1
@alexandrraizer
PHP developer
Можно использовать Selenium либо chrome cli либо разобраться как страница формируется через js.
Ответ написан
Комментировать
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Похожие вопросы
FoodSoul Калининград
от 180 000 до 250 000 ₽
IT-Spirit Москва
от 230 000 до 320 000 ₽
IT ATLAS Москва
от 250 000 до 500 000 ₽