При парсинге с помощью cUrl сайт выдает json массивы, как выбрать нужную инфу?

Question

[AlexAll]

Пытаюсь парсить один сайт, он выдает json массивы, вместо html
Наверное есть два пути решения которых я не знаю.
1) Может можно как то прикинутся браузером)) чтобы получить html и дальше с ним работать
2) Вытянуть нужную js переменную где хранятся нужные данные и уже работать с ними
Как лучше сделать подскажите

Answer 1

[Виктор К]

пока ты не дашь сайт и не скажешь, чем ты парсить пытаешься, мы тут будет все в экстрасенсов играть.

Я вангую, что так происходит из-за заголовков твоих запросов. Либо из-за магии мордора

Comments

[AlexAll]

$url = 'https://www.tutu.ru/poezda/rasp_d.php?nnst1=2044800&nnst2=2004000';
    $ch = curl_init();
    curl_setopt($ch, CURLOPT_URL, $url); 
    curl_setopt ($ch, CURLOPT_USERAGENT, "Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:68.0) Gecko/20100101 Firefox/68.0"); 
    curl_setopt($ch, CURLOPT_HEADER, 0); 
    curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
    curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 0); 
    curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, 10);
    curl_setopt($ch, CURLOPT_REFERER, "https://yandex.ru/search/?text=tutu");
    curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false); 
    curl_setopt ($ch, CURLOPT_SSL_VERIFYHOST, 0);
    curl_setopt($ch, CURLOPT_COOKIE, 'curl_normal_cookie=1; curl_session_cookie=1');
    curl_setopt($ch, CURLOPT_COOKIEJAR, '/coockie/my_cookies.txt');
    curl_setopt($ch, CURLOPT_COOKIEFILE, '/coockie/my_cookies.txt');
    $content = curl_exec($ch);
    $info = curl_getinfo($ch);
    if($info['http_code'] != 200) {
        $fd = fopen("coockie/logs.txt", 'a');
        $str_value = serialize($info);
        $str = "\n".$str_value . "Маршрут" . $city_from . $city_to;
        fwrite($fd, $str);
        fclose($fd);
        return;
    }
    curl_close($ch);    


    var_dump($content);

Держи только запускай в консоли, в браузере он загрузит естественно весь сайт
вот в этой переменной данные о расписанием которые мне нужны

<script>
		window.params =

[Виктор К]

AlexAll, не совсем, может быть я понял вопрос, но вот что у меня получается на коленке

$url = 'https://www.tutu.ru/poezda/rasp_d.php?nnst1=2044800&nnst2=2004000';
    $ch = curl_init();
    curl_setopt($ch, CURLOPT_URL, $url);
    curl_setopt($ch, CURLOPT_USERAGENT, "Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:68.0) Gecko/20100101 Firefox/68.0");
    curl_setopt($ch, CURLOPT_HEADER, 0);
    curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
    curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 0);
    curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, 10);
    curl_setopt($ch, CURLOPT_REFERER, "https://yandex.ru/search/?text=tutu");
    curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false);
    curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, 0);
    curl_setopt($ch, CURLOPT_COOKIE, 'curl_normal_cookie=1; curl_session_cookie=1');
    curl_setopt($ch, CURLOPT_COOKIEJAR, '/coockie/my_cookies.txt');
    curl_setopt($ch, CURLOPT_COOKIEFILE, '/coockie/my_cookies.txt');
    $content = curl_exec($ch);
    $start = stripos($content, "<script>var RM = RM");
    $end = stripos($content, '"https_only":0};</script>');
    if ($start && $end) {
        $piece = substr($content, $start, $end);//здесь кусок скрипта, в котором нужные тебе данные
    } else {
        echo 'not found';
    }

Они там реально в window.params, но проверить, все они там, или часть создается/меняется динамически, конечно, очень тяжко.

Вообще, создается впечатление, что вы двигаетесь куда-то не туда, когда приходится так костылить, чтобы данные получить.
У них вроде api есть, у туту. Нельзя оттуда получить нужное?

[AlexAll]

Виктор К, У них есть, но не для всех, а где оно есть, там нет сложных маршрутов с пересадкой, если бы было я бы не костылил

[Виктор К]

AlexAll, тогда все у вас работает правильно, курл запрос все возвращает что нужно. Парсите js, пробуйте)

Answer 2

[Дмитрий Дерепко]

Пытаюсь парсить один сайт, он выдает json массивы, вместо html

Вы должны поблагодарить разрабов за это и радоваться.

Конвертируйте полученный JSON в Array и ищите нужный элемент. В чем сложности?

Comments

[AlexAll]

Как его вытащить нужный мне массив из всего кода который приходит? каким способом?

[Дмитрий Дерепко]

https://www.php.net/manual/ru/function.json-decode.php

[AlexAll]

Дмитрий Дерепко, я не про это спрашивал, а про то как вытащить из кучи кода нужный мне json массив

[Дмитрий Дерепко]

Вы же написали, что получаете json. Иначе - парсинг регулярками или библиотеками. Но в этом случае, лучше парсить готовый html