Как увеличить паузу между отправкой запроса и получением результата?

Question

[Rozalot]

Доброго времени суток!
Пишу на Python программу для получения через API сайта информации с помощью requests.get().
При запуске все работает в целом нормально, за исключением того, что информация с сайта приходит не в полном объеме; причина - недостаточная пауза между отправкой запроса и получением результата. Для получения полноценного ответа требуется порядка 30 секунд ожидания.
В этой связи вопрос: как можно увеличить эту паузу???

import time

import requests
import json
import pprint
from set_airport_code import set_airports_code_func

def set_airports_code_func(departure_airport, arrival_airport):
my_req = requests.get(f"https://www.travelpayouts.com/widgets_suggest_params?q="
f"Из%20{departure_airport}%20в%20{arrival_airport}")
data = json.loads(my_req.text)
departure_airport_iata = data['origin']['iata']
arrival_airport_iata = data['destination']['iata']
return [departure_airport_iata, arrival_airport_iata]

departure_airport = 'Москва'
arrival_airport = 'Санкт-Петербург'
flight_date = '2024-07-01'

try:
airports_codes = set_airports_code_func(departure_airport, arrival_airport)
print(airports_codes[0])
print(airports_codes[1])
except KeyError as exc:
print('Такого рейса не существует.')

result = requests.get(f'https://api.travelpayouts.com/aviasales/v3/prices_...?'
f'origin={airports_codes[0]}&'
f'destination={airports_codes[1]}&'
f'departure_at={flight_date}&'
f'sorting=price&'
f'direct=false&'
f'currency=rub&'
f'limit=30&'
f'page=1&'
f'one_way=true&'
f'token=526faf5fcd6a0fbfedf9591e5e024')

pprint.pprint(result.text)

Комментарий aviasales.ru по вопросу неполного ответа на направляемый вопрос:
Когда вы используете API поиска авиабилетов в реальном времени, вам приходит ответ от тех же агентств и авиакомпаний, что и на сайте aviasales.ru. Самый распространенный случай, когда ответ меньше — это недостаточная пауза между отправкой запроса и получением результата.

Дело в том, что для получения ответа от всех агентств требуется порядка 30 секунд. Если запросить результат раньше, то он может содержать не все данные.

Answer 1

[Михаил Р.]

Пишу на Python программу для получения через API сайта информации с помощью requests.get()

В этой связи вопрос: как можно увеличить эту паузу???

Никак. requests возвращает исключительно, первый ответ сервера. Попробуйте библиотеку aiohttp или httpx.

Comments

[Rozalot]

Да я не против первого ответа от сервера, просто хотелось бы, чтоб на его формирование у сервера было 30 секунд. Или такой параметр нельзя задать в requests.get()???
Чтоб мне в качестве первого ответа от сервера пришел список не из одного элемента, а, к примеру из 10. При этом 9 других элементов списка будут сформированы как раз за эти 30 секунд...
Заранее спасибо за ответ )))

[Михаил Р.]

Rozalot,

При запуске все работает в целом нормально, за исключением того, что информация с сайта приходит не в полном объеме; причина - недостаточная пауза между отправкой запроса и получением результата

Да я не против первого ответа от сервера

Ну вот первый ответ от сервера приходит и все, что дальше произойдет на сайте - requests не увидит, т.к. он уже вернул данные и его работа окончена.

Или такой параметр нельзя задать в requests.get()???

Никакой нельзя, можно лишь передать аргументы для единственного запроса на сервер. 1 запрос с аргументами - 1 ответ (только первый ответ сервера).

[o5a]

Rozalot, с чего вы взяли, что

причина - недостаточная пауза между отправкой запроса и получением результата. Для получения полноценного ответа требуется порядка 30 секунд ожидания.

?

Когда посылаете серверу запрос, он его формирует и когда готов, возвращает его вам. Он сам этим управляет.

[Rozalot]

o5a, я просто пока учусь и много не понимаю, но на сайте написано следующее:

Почему в API поиска я получаю меньше билетов, чем на сайте Авиасейлс?
Когда вы используете API поиска авиабилетов в реальном времени, вам приходит ответ от тех же агентств и авиакомпаний, что и на сайте aviasales.ru. Самый распространенный случай, когда ответ меньше — это недостаточная пауза между отправкой запроса и получением результата.

Дело в том, что для получения ответа от всех агентств требуется порядка 30 секунд. Если запросить результат раньше, то он может содержать не все данные.

Вот я и хочу увеличить эту паузу )))

[o5a]

Rozalot, это что-то непонятное они пишут. Как уже другие вам тут написали, сам запрос API не управляет временем ответа. Вы буквально говорите серверу: как будешь готов, ответь на мой вопрос. И сервер сам решает, когда вернуть данные (или вообще не вернуть). Какая-то там внутренняя задержка сервера могла бы регулироваться параметрами самого запроса API (если они это продумали), но сам по себе запрос get/post подобных параметров задержки не имеет, это всё на стороне самого сервера.

Answer 2

[mrfreeman2]

Надо изучать документацию API-сервера. Вероятнее всего, в API предусмотрена порционная подгрузка данных.
Что это такое? Вы формируете запрос, который серверу сложно обработать быстро. Сервер быстро форсирует часть ответа, отдает его вам, и у вас + отпадет некий курсор, который нужно использовать для повторного вызова, так сервер поймет, что нужно дополнить предыдущий ответ.

Comments

[Rozalot]

Спасибо большое! )))

Answer 3

[Vindicar]

Время на формирования ответа сервера определяется самим сервером, ты на него повлиять не можешь.
Если сервер тебе отправляет 10 результатов поиска вместо 30 - значит, либо ты сам запросил только 10, либо в базе есть только 10 подходящих элементов, либо действует какое-нибудь ограничение (для бесплатных пользователей. например?).

В любом случае, без кода говорить не о чем.

Comments

[Rozalot]

import time

import requests
import json
import pprint

def set_airports_code_func(departure_airport, arrival_airport):
my_req = requests.get(f"https://www.travelpayouts.com/widgets_suggest_params?q="
f"Из%20{departure_airport}%20в%20{arrival_airport}")
data = json.loads(my_req.text)
departure_airport_iata = data['origin']['iata']
arrival_airport_iata = data['destination']['iata']
return [departure_airport_iata, arrival_airport_iata]

departure_airport = 'Москва'
arrival_airport = 'Санкт-Петербург'
flight_date = '2024-07-01'

try:
airports_codes = set_airports_code_func(departure_airport, arrival_airport)
print(airports_codes[0])
print(airports_codes[1])
except KeyError as exc:
print('Такого рейса не существует.')

result = requests.get(f'https://api.travelpayouts.com/aviasales/v3/prices_...?'
f'origin={airports_codes[0]}&'
f'destination={airports_codes[1]}&'
f'departure_at={flight_date}&'
f'sorting=price&'
f'direct=false&'
f'currency=rub&'
f'limit=30&'
f'page=1&'
f'one_way=true&'
f'token=526faf5fcd6a0fbfed0d5f9591e5e024')

pprint.pprint(result.text)

Это мой код.

А это комментарий с сайта:
https://support.travelpayouts.com/hc/ru/articles/2...
"Когда вы используете API поиска авиабилетов в реальном времени, вам приходит ответ от тех же агентств и авиакомпаний, что и на сайте aviasales.ru. Самый распространенный случай, когда ответ меньше — это недостаточная пауза между отправкой запроса и получением результата.

Дело в том, что для получения ответа от всех агентств требуется порядка 30 секунд. Если запросить результат раньше, то он может содержать не все данные."

[Vindicar]

Rozalot, а вот это должно было быть в вопросе!
У тебя два последовательных обращения к сервису, а не одно.
Первое обращение ставит задачу и получает подтверждение, второе спрашивает о состоянии задачи и получает результат задачи.
И речь идёт именно о паузе между двумя обращениями, а не между запросом и ответом в рамках одного обращения.
Воткни time.sleep(30.0) или что-то вроде перед вторым requests.get().
Ну и да, почитай документацию - есть более правильный способ формирования URL с параметрами, чем использование f-строк.

[Rozalot]

Первый requests.get(), а именно: my_req = requests.get(f"https://www.travelpayouts.com/widgets_suggest_params отвечает исключительно за получение кодов аэропортов отправления и назначения.

Эти коды нужны для поиска билетов, который реализуется только вторым requests.get() - result = requests.get(f'https://api.travelpayouts.com/aviasales/v3/prices_... (далее - запрос № 2)
Постановка между ними таймера ничего не даст, так как пауза нужна исключительно в запросе № 2.
То есть делаем запрос № 2, потом выжидаем паузу в 30 секунд (за это время на сайте формируется список из всех билетов, удовлетворяющих требованиям запроса), и только потом получаем ответ на запрос № 2.

По поводу формирования URL с параметрами - каюсь, грешен, как раз изучаю... )))

[Vindicar]

Rozalot, тогда на сайте написано что-то странное.
HTTP протокол устроен не так уж сложно. Клиент отправляет на сервер запрос такого вида:

GET /урл_который_запрашиваешь HTTP/2.0
Имя-Заголовка: ЗначениеЗаголовка
...  тут может быть много заголовков

После пустой строки идёт тело запроса: данные формы или загружаемый файл, если они есть. Его длина определяется по переданному заголовку Content-Length.

Когда клиент отправил весь запрос, в том числе тело, он не делает больше ни-че-го. Он сидит и ждёт, пока сервер не отправит ответ. У клиента просто нет механизмов, с помощью которых он мог бы "поторопить" сервер - максимум, что он может, это разорвать соединение по таймауту, не дождавшись ответа.

[Rozalot]

Vindicar, Я хоть и не большой спец, но это то меня и смущает...
Оснований не доверять сайту нет.
Мой скрипт срабатывает буквально за 2 секунды, и пишет, что билетов нет... тогда как поиск по сайту думает над аналогичным запросом порядка 12-15 секунд, зато потом выдает целую кучу билетов ))) Может надо изменить целевой сайт для работы с API??? )))

[Vindicar]

Rozalot, а если в инструменты разработчика в браузере залезть - что там происходит?

[o5a]

Rozalot, очень похоже, что вы просто неправильный метод API используете, и вам нужен другой, они же там разные есть.
Судя по https://api.travelpayouts.com/aviasales/v3/prices_... вы используете этот:
https://support.travelpayouts.com/hc/ru/articles/2...
По описанию - это "Запрос возвращает самые дешевые авиабилеты за определённые даты, найденные пользователями Авиасейлс за последние 48 часов."
Т.е. конкретно этот метод возвращает не просто билеты по направлению, а именно те, что пользователи искали на сайте за последние 48 часов. Но при этом в примере указываете дату 2024-07-01, т.е. спрашиваете сайт "покажите мне самые дешевые билеты, которые за последние 2 суток пользователи искали по такому-то направлению с датой отправления 2024-07-01". Возможно просто никто и не искал такие билеты за последние 2 суток, вот вам ничего и не возвращает. Хотя я не знаю логики работы этого сайта, может я не так понимаю их формулировку.

Возможно вам для поиска нужен вообще другой метод, такой например:
https://support.travelpayouts.com/hc/ru/articles/2...
Тут уже больше похоже на систему с задержкой, т.к. сначала вы отсылаете запрос поиска, а потом по этому поисковому id постепенно получаете результаты.

[Rozalot]

o5a, спасибо большое))) Попробую )