GET запрос работает в POSTman, но возвращает 403 в python requests?

Question

[organica]

Собственно, проблема следующая:
Postman отрабатывает отлично и возвращает ожидаемый результат


А python на аналогичный запрос выдает 403 код. Хотя вроде как заголовки одинаковые. Что ему, собаке, не хватает?

import requests
from pprint import pprint

url = 'http://ovga.mos.ru:8080/_ajax/pass/list?search={%22grz%22:%22К239ММ159%22}&sort=validitydate&order=desc'

headers = {"X-Requested-With": "XMLHttpRequest",
           'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) '
                         'Chrome/54.0.2840.99 Safari/537.36',
           }
response = requests.get(url, headers)

pprint(response)

<Response [403]>

Comments

[Ivan Yakushenko]

Этот вопрос скорее нужно задавать postman, потому что если эту ссылку открыть в браузере, то она так же будет отдавать 403, python тут не при чем.

[organica]

Ivan Yakushenko, Ну так по прямому переходу по ссылке у нас же нет хедера "X-Requested-With": "XMLHttpRequest".
В какую сторону копать-то?)

[Ivan Yakushenko]

organica, не только, я ответ написал.

Answer 1

[Ivan Yakushenko]

Ты не все заголовки передал. Postman по-умолчанию генерирует некоторые заголовки самостоятельно, вот так подключается нормально:

headers = {
    'Host': 'ovga.mos.ru',
    'User-Agent': 'Magic User-Agent v999.26 Windows PRO 11',
    'Accept': '*/*',
    'Accept-Encoding': 'gzip, deflate, br',
    'Connection': 'keep-alive',
    'X-Requested-With': 'XMLHttpRequest'
}
url = 'http://ovga.mos.ru:8080/_ajax/pass/list?search={"grz":"К239ММ159"}&sort=validitydate&order=desc'
response = requests.get(url, headers=headers)

<Response [200]>

Answer 2

[ScriptKiddo]

Сгенерируйте сниппет для Python, так будете уверены что ничего не пропустите

https://learning.postman.com/docs/postman/sending-...

Comments

[organica]

Аналогичный 403 ответ в питоне приходит на сформированный постманом код.

import requests

url = "http://ovga.mos.ru:8080/_ajax/pass/list?search={%22grz%22:%22К239ММ159%22}&sort=validitydate&order=desc"

payload = {}
headers = {
  'X-Requested-With': 'XMLHttpRequest'
}

response = requests.request("GET", url, headers=headers, data = payload)

print(response)

[ScriptKiddo]

organica, Значит не все копируется

Сконвертировал CURL из браузера с помощью https://curl.trillworks.com/

import requests

cookies = {
    'PHPSESSID': 'm325af1c4nrn5gsvxc86',
}

headers = {
    'Connection': 'keep-alive',
    'Accept': 'application/json, text/javascript, */*; q=0.01',
    'DNT': '1',
    'X-Requested-With': 'XMLHttpRequest',
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.116 Safari/537.36',
    'Content-Type': 'application/json',
    'Referer': 'http://ovga.mos.ru:8080/',
    'Accept-Language': 'ru-RU,ru;q=0.9,en-US;q=0.8,en;q=0.7',
}

params = (
    ('search', '{"series":"\\u0411\\u0411","number":"\\u0412\\u0430\\u044b\\u0432\\u0430","grz":"\\u041047214921\\u0410"}'),
    ('sort', 'number'),
    ('order', 'desc'),
    ('offset', '0'),
    ('limit', '10'),
)

response = requests.get('http://ovga.mos.ru:8080/_ajax/pass/list', headers=headers, params=params, cookies=cookies, verify=False)

print(response)

Answer 3

[Игорь]

Сейчас 03.06.2024 не работает через веб интерфейс, магафоновская защита от ботов срабатывает, но работает у компаний которые занимаются парсингом сайтов. Есть предложения как они обошли защиту мегафоновскую.
возможно поменяли url post запроса.
1. вариант url"a https://transport.mos.ru/ru/ajax/App/Etp_ServiceCo...
2. вариант https://transport.mos.ru/ajax/App/Etp_ServiceContr...
3. вариант https://transport.mos.ru/ajax/App/Etp_ServiceContr...

возможно они забыли поменять url в веб интерфейсе