Почему не отправляется requests.post на сайт (ssl)?

Question

[Александр Андропов]

Добрый день. Хочу забрать данные с помощью метода POST в requests отсюда https://www.pobeda.aero/information/booking/search....
Нашел, что данные подгружаются отсюда, перехожу:
https://www.pobeda.aero/umbraco/api/CustomTravelOf...
говорят, что только POST методом. Делаю так:

def pobeda(link, header):
    r = requests.post(link, data = {'Culture': 'ru-RU', 'Currency': 'RUB', 'Origin': 'VKO', 'RequestType': 'MoreOffersHome'}, verify = False)
    print(r.text)

pobeda(config.urls['pobeda'],config.headers)

В итоге получаю

InsecureRequestWarning: Unverified HTTPS request is being made to host 'www.pobeda.aero'. Adding certificate verification is strongly advised. See: https://urllib3.readthedocs.io/en/latest/advanced-...
warnings.warn(
The requested resource does not support http method 'GET'.

Если убираю параметр verify = False, получаю это

HTTPSConnectionPool(host='www.pobeda.aero', port=443): Max retries exceeded with url: /umbraco/api/CustomTravelOffersApi/GetCustomTravelOffers (Caused by SSLError(SSLCertVerificationError(1, '[SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: unable to get local issuer certificate (_ssl.c:1123)')))

Помогите пожалуйста сделать правильный запрос, чтобы вывести данные. Заранее благодарю!

Answer 1

[Ivan Yakushenko]

Сайт проверяет куки. Создай сессию, а затем делай нужные тебе запросы:

import requests

session = requests.Session()
session.headers.update({
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)'
})
session.get('https://www.pobeda.aero/information/booking/search_cheap_tickets/', verify=False)

data = {'Culture': 'ru-RU', 'Currency': 'RUB', 'Origin': 'VKO', 'RequestType': 'MoreOffersHome'}
response = session.post('https://www.pobeda.aero/umbraco/api/CustomTravelOffersApi/GetCustomTravelOffers', json=data, verify=False)

response.json()

oupt

[{'departure': 'Москва',
  'arrivals': [{'image': '//static.pobeda.aero/media/1057/cheby.jpg',
    'name': 'Чебоксары',
    'currency': '₽',
    'price': '999',
    'link': {'url': 'ru/booking/select/?origin1=VKO&destination1=CSY&departure1=2020-10-13&adt1=1&tng1=0&chd1=0&inf1=0&currency=RUB',
     'target': '',
     'newTab': False},
    'umbracoSort': 0,
    'isHighlighted': False,
    'customTitle': 'Чебоксары'},
   {'image': '//static.pobeda.aero/media/1002/vladikavkaz1.jpg',
    'name': 'Владикавказ',
    'currency': '₽',
    'price': '1499',
    'link': {'url': 'ru/booking/select/?origin1=VKO&destination1=OGZ&departure1=2020-09-09&adt1=1&tng1=0&chd1=0&inf1=0&currency=RUB',
     'target': '',
     'newTab': False},
    'umbracoSort': 9,
    'isHighlighted': False,
    'customTitle': 'Владикавказ'},
   {'image': '//static.pobeda.aero/media/1006/izhevsk1.jpg',
    'name': 'Ижевск',
    'currency': '₽',
    'price': '1499',
    'link': {'url': 'ru/booking/select/?origin1=VKO&destination1=IJK&departure1=2020-09-14&adt1=1&tng1=0&chd1=0&inf1=0&currency=RUB',
     'target': '',
     'newTab': False},
    'umbracoSort': 19,
    'isHighlighted': False,
    'customTitle': 'Ижевск'},
   {'image': '//static.pobeda.aero/media/1007/kazan1.jpg',
    'name': 'Казань',
    'currency': '₽',
    'price': '1499',
    'link': {'url': 'ru/booking/select/?origin1=VKO&destination1=KZN&departure1=2020-09-08&adt1=1&tng1=0&chd1=0&inf1=0&currency=RUB',
     'target': '',
     'newTab': False},
    'umbracoSort': 10,
    'isHighlighted': False,
    'customTitle': 'Казань'},
   {'image': '//static.pobeda.aero/media/1008/kaliningrad1.jpg',
    'name': 'Калининград',
    'currency': '₽',
    'price': '1499',
    'link': {'url': 'ru/booking/select/?origin1=VKO&destination1=KGD&departure1=2020-08-24&adt1=1&tng1=0&chd1=0&inf1=0&currency=RUB',
     'target': '',
     'newTab': False},
    'umbracoSort': 18,
    'isHighlighted': False,
    'customTitle': 'Калининград'},
   {'image': '//static.pobeda.aero/media/1061/kirov.jpg',
    'name': 'Киров',
    'currency': '₽',
    'price': '1499',
    'link': {'url': 'ru/booking/select/?origin1=VKO&destination1=KVX&departure1=2020-10-05&adt1=1&tng1=0&chd1=0&inf1=0&currency=RUB',
     'target': '',
     'newTab': False},
    'umbracoSort': 16,
    'isHighlighted': False,
    'customTitle': 'Киров'},
   {'image': '//static.pobeda.aero/media/1010/krasnodar1.jpg',
    'name': 'Краснодар',
    'currency': '₽',
    'price': '1499',
    'link': {'url': 'ru/booking/select/?origin1=VKO&destination1=KRR&departure1=2020-08-24&adt1=1&tng1=0&chd1=0&inf1=0&currency=RUB',
     'target': '',
     'newTab': False},
    'umbracoSort': 15,
    'isHighlighted': False,
    'customTitle': 'Краснодар'},
   {'image': '//static.pobeda.aero/media/1001/kurgan1.jpg',
    'name': 'Курган',
    'currency': '₽',
    'price': '1499',
    'link': {'url': 'ru/booking/select/?origin1=VKO&destination1=KRO&departure1=2020-10-05&adt1=1&tng1=0&chd1=0&inf1=0&currency=RUB',
     'target': '',
     'newTab': False},
    'umbracoSort': 17,
    'isHighlighted': False,
    'customTitle': 'Курган'},
   {'image': '//static.pobeda.aero/media/1050/makhachkala.jpg',
    'name': 'Махачкала',
    'currency': '₽',
    'price': '1499',
    'link': {'url': 'ru/booking/select/?origin1=VKO&destination1=MCX&departure1=2020-08-25&adt1=1&tng1=0&chd1=0&inf1=0&currency=RUB',
     'target': '',
     'newTab': False},
    'umbracoSort': 14,
    'isHighlighted': False,
    'customTitle': 'Махачкала'},
   {'image': '//static.pobeda.aero/media/1011/minvody1.jpg',
    'name': 'Минеральные Воды',
    'currency': '₽',
    'price': '1499',
    'link': {'url': 'ru/booking/select/?origin1=VKO&destination1=MRV&departure1=2020-10-07&adt1=1&tng1=0&chd1=0&inf1=0&currency=RUB',
     'target': '',
     'newTab': False},
    'umbracoSort': 4,
    'isHighlighted': False,
    'customTitle': 'Минеральные Воды'},
   {'image': '//static.pobeda.aero/media/1012/murmansk1.jpg',
    'name': 'Мурманск',
    'currency': '₽',
    'price': '1499',
    'link': {'url': 'ru/booking/select/?origin1=VKO&destination1=MMK&departure1=2020-09-19&adt1=1&tng1=0&chd1=0&inf1=0&currency=RUB',
     'target': '',
     'newTab': False},
    'umbracoSort': 13,
    'isHighlighted': False,
    'customTitle': 'Мурманск'},
   {'image': '//static.pobeda.aero/media/1053/nab_chelny.jpg',
    'name': 'Набережные Челны',
    'currency': '₽',
    'price': '1499',
    'link': {'url': 'ru/booking/select/?origin1=VKO&destination1=NBC&departure1=2020-09-18&adt1=1&tng1=0&chd1=0&inf1=0&currency=RUB',
     'target': '',
     'newTab': False},
    'umbracoSort': 5,
    'isHighlighted': False,
    'customTitle': 'Набережные Челны'},
   {'image': '//static.pobeda.aero/media/1064/nazran.jpg',
    'name': 'Назрань (Магас)',
    'currency': '₽',
    'price': '1499',
    'link': {'url': 'ru/booking/select/?origin1=VKO&destination1=IGT&departure1=2020-09-26&adt1=1&tng1=0&chd1=0&inf1=0&currency=RUB',
     'target': '',
     'newTab': False},
    'umbracoSort': 11,
    'isHighlighted': False,
    'customTitle': 'Назрань (Магас)'},
   {'image': '//static.pobeda.aero/media/1039/perm.jpg',
    'name': 'Пермь',
    'currency': '₽',
    'price': '1499',
    'link': {'url': 'ru/booking/select/?origin1=VKO&destination1=PEE&departure1=2020-10-08&adt1=1&tng1=0&chd1=0&inf1=0&currency=RUB',
     'target': '',
     'newTab': False},
    'umbracoSort': 8,
    'isHighlighted': False,
    'customTitle': 'Пермь'},
   {'image': '//static.pobeda.aero/media/1013/petrozavodsk.jpg',
    'name': 'Петрозаводск',
    'currency': '₽',
    'price': '1499',
    'link': {'url': 'ru/booking/select/?origin1=VKO&destination1=PES&departure1=2020-09-21&adt1=1&tng1=0&chd1=0&inf1=0&currency=RUB',
     'target': '',
     'newTab': False},
    'umbracoSort': 12,
    'isHighlighted': False,
    'customTitle': 'Петрозаводск'},
   {'image': '//static.pobeda.aero/media/1025/stavropol.jpg',
    'name': 'Ставрополь',
    'currency': '₽',
    'price': '1499',
    'link': {'url': 'ru/booking/select/?origin1=VKO&destination1=STW&departure1=2020-09-03&adt1=1&tng1=0&chd1=0&inf1=0&currency=RUB',
     'target': '',
     'newTab': False},
    'umbracoSort': 7,
    'isHighlighted': False,
    'customTitle': 'Ставрополь'},
   {'image': '//static.pobeda.aero/media/1024/ufa.jpg',
    'name': 'Уфа',
    'currency': '₽',
    'price': '1499',
    'link': {'url': 'ru/booking/select/?origin1=VKO&destination1=UFA&departure1=2020-09-03&adt1=1&tng1=0&chd1=0&inf1=0&currency=RUB',
     'target': '',
     'newTab': False},
    'umbracoSort': 6,
    'isHighlighted': False,
    'customTitle': 'Уфа'},
   {'image': '//static.pobeda.aero/media/1014/anapa.png',
    'name': 'Анапа',
    'currency': '₽',
    'price': '1799',
    'link': {'url': 'ru/booking/select/?origin1=VKO&destination1=AAQ&departure1=2020-08-26&adt1=1&tng1=0&chd1=0&inf1=0&currency=RUB',
     'target': '',
     'newTab': False},
    'umbracoSort': 20,
    'isHighlighted': False,
    'customTitle': 'Анапа'},
   {'image': '//static.pobeda.aero/media/1013/nalchik1a.jpg',
    'name': 'Нальчик',
    'currency': '₽',
    'price': '1799',
    'link': {'url': 'ru/booking/select/?origin1=VKO&destination1=NAL&departure1=2020-09-17&adt1=1&tng1=0&chd1=0&inf1=0&currency=RUB',
     'target': '',
     'newTab': False},
    'umbracoSort': 21,
    'isHighlighted': False,
    'customTitle': 'Нальчик'},
   {'image': '//static.pobeda.aero/media/1016/sochi1.jpg',
    'name': 'Сочи',
    'currency': '₽',
    'price': '1800',
    'link': {'url': 'ru/booking/select/?origin1=VKO&destination1=AER&departure1=2020-08-24&adt1=1&tng1=0&chd1=0&inf1=0&currency=RUB',
     'target': '',
     'newTab': False},
    'umbracoSort': 22,
    'isHighlighted': False,
    'customTitle': 'Сочи'}]}]

Comments

[Александр Андропов]

Спасибо большое. Заработало. Как вы определили, что сайт проверяет Куки? Куда смотреть, подскажите пожалуйста.

Спасибо огромное.

[Ivan Yakushenko]

Александр Андропов, да никак. Просто очень часто API, используемые сайтами для "догрузки" информации, или взаимодействия с сервером, защищены либо токенами, либо проверяют куки. Токены никакие с запросов не отправляются, значит проверяются куки.

Answer 2

[Сергей Карбивничий]

Попробуйте добавить это:

import urllib3
urllib3.disable_warnings(urllib3.exceptions.InsecureRequestWarning)

Comments

[Александр Андропов]

Ошибка осталась прежняя.

[Сергей Карбивничий]

Александр Андропов, verify = False не забыли? Если нет, то можете скинуть весь код?