На сайте откройте инспектор Shift + F12, перейдите во вкладку Сеть, выберите XHR, здесь вы увидите все API для обмена информацией между сервером и клиентом. Вам нужно найти запрос на который сервер вам ответит необходимой вам информацией.
Пример:
http://www.trafficengland.com/api/events/getAlerts?start=0&step=100&order=Severity&is_current=1&events=CONGESTION,INCIDENT&unconfirmed=false&completed=false&includeUnconfirmedRoadworks=true&_=1573554890656
Вы можете перейти по этой ссылке и посмотреть чем там вам ответили.
Далее в коде вы работаете с этими данными.
Пример:
import requests
from fake_useragent import UserAgent
def request_json():
response = requests.get("http://www.trafficengland.com/api/events/getAlerts?start=0&step=100&order=Severity&is_current=1&events=CONGESTION,INCIDENT&unconfirmed=false&completed=false&includeUnconfirmedRoadworks=true&_=1573554890656", timeout = 5, headers = {'User-Agent': UserAgent().chrome})
fight_all = response.json()
return fight_all
def test_met(responce):
print(responce[0]["gdp"])
test_met(request_json())
Результат:
