Как спарсить данные (через guzzle или нет) если сайт кидает 403 forbidden?

Question

[DemonFromIrk]

Такой код есть:

spoiler

<?
require 'vendor/autoload.php';
$url= 'https://www.mos.ru/altmosmvc/api/v1/taxi/getInfo/?Region=Москва&RegNum=&FullName=&LicenseNum=&Condition=&pagenumber=1';
 
use GuzzleHttp\Client;
use GuzzleHttp\Cookie\CookieJar;
 
$client = new Client([
  'base_url' => $url,
  'cookies' => $jar,
  'allow_redirects' => true,
  'decode_content' => true
]);
 
$req = $client->request('get', $url)->getBody()->getContents();
$req = $client->request('get', $url)->getHeaders();
echo "<pre>";
print_r($req);
?>

Как изменить код, чтобы не выдавало 403 ошибку?

Comments

[Henxed]

Сайт просто защищается от DDOS, и вне браузерный трафик блокируется. Попробуйте добавить параметр user-agent

[DemonFromIrk]

Henxed, я пробовал уже, у меня никак не получается.
Снова пробую и это не работает, ничего не меняется

spoiler

$url= 'https://www.mos.ru/altmosmvc/api/v1/taxi/getInfo/?Region=Москва&RegNum=&FullName=&LicenseNum=&Condition=&pagenumber=1';
 $userAgent = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:67.0) Gecko/20100101 Firefox/67.0' ;
    $d = $client->request('GET',$url,[
        'headers' => [
            'User-Agent' => $userAgent,
            'Accept'     => 'application/json'
        ]]);
    echo '<pre>' , var_dump($d) , '</pre>';

Answer 1

[Вадим]

Отсутствие куки mos_id вызвает ошибку 403. Вот пример, который возвращает все необходимые данные

<?php

require 'vendor/autoload.php';

use GuzzleHttp\Client;
use GuzzleHttp\Cookie\CookieJar;

$url= 'https://www.mos.ru/altmosmvc/api/v1/taxi/getInfo/?Region=Москва&RegNum=&FullName=&LicenseNum=&Condition=&pagenumber=1';

$client = new Client([
    'base_url' => $url,
    'cookies' => CookieJar::fromArray(['mos_id' => 'CllGx1yOW5nBYizxkxtbAgA='], '.mos.ru'),
    'allow_redirects' => true,
    'decode_content' => true
]);

$response = $client->request('get', $url);
echo $response->getBody()->getContents();

Comments

[Вадим]

Конечно, лучше продебажить и выяснить, кто устанавливает эту куку, чтобы не полагаться на фиксированное значение. Иначе, в будущем, можно будет опять получить 403 ошибку, если оно изменится.

[DemonFromIrk]

Вадим, а откуда вы это конкретное значение взяли? У меня оно работает

[Вадим]

DemonFromIrk Я открыл напрямую страницу в браузере и продебажил. Оно у меня было установлено. Остается лишь вопрос, кто его установил. Мне на хватило 30 минут, чтобы это выяснить. :)

Я бы мог предполагать, что это делает какой-то JS скрипт с главной страницы, т.к. я не нашел запросов, где сервер отдавал это значение. Хотя в дальнейшем, оно было отправлено в одном из последующих XHR запросов.

Вообщем, там не все так тривиально, как кажется