Откуда грузятся данные на странице?

Question

[zdr]

Хочу достать средствами питона
результаты неких спортивных событий. Загружаю страницу (

requests.get('https://www.marathonbet.ru/su/results.htm

') ) но там нет интересующей информации. Может в каком фрейме открывается подскажите пож как достать результаты матчей

Answer 1

[artem78]

При помощи post-запроса через ajax подтягиваются с урла https://www.marathonbet.ru/su/react/results/list

Comments

[zdr]

Ошибка
С этой страницей возникла проблема, пожалуйста, нажмите OK, чтобы вернуться на Главную страницу

[artem78]

zdr, Это вы в браузере открыли, а надо POST запрос отослать, да и ещё как минимум referer странички поставить, иначе сервер скорее всего пошлёт вас куда подальше.

[artem78]

Советую что-нибудь почитать на тему веб-запросов, ajax и снифферов. Станет более понятно.

[artem78]

zdr, В вашем случае такой запрос получается:

#!/usr/bin/env python3

import requests
import json
from pprint import pprint


data = {
    "selectedSports": [],
    "searchWords": None,
    "considerSearchWords": False,
    "dateType": "RANGE",
    "singlePageMode": True,
    "page": 0,
    "totalPages": 0,
    "collapsedSports": False,
    "currentCollapsedSport": None,
    "openedSportCategoryIds": [],
    "collapsedSportCategoryIds": [],
    "dateExact": 1550696400000,
    "dateRange": {
        "first": 1550696400000,
        "second": 1550696400000,
        "version": 0,
        "fields": [
            1550696400000,
            1550696400000
        ],
        "fieldNames": [
            "first",
            "second"
        ],
        "filled": True
    },
    "startWeekDate": 1550178000000,
    "minDate": 946699200000,
    "maxDate": 1550696400000
}

url = 'https://www.marathonbet.ru/su/react/results/list'
headers = {
	'Content-type': 'application/json',
	"Referer": 'https://www.marathonbet.ru/su/results.htm'
}

r = requests.post(url, data=json.dumps(data), headers=headers)
res = r.json()
pprint(res)

В переменной data свои настройки фильтра пропишите.

[zdr]

artem78, Спасибо огромное!

Answer 2

[Егор Живагин]

1 - Открываете DevTools
2 - Вкладочку Network
3 - Нажимаете на странице кнопку "показать"
4 - В Network смотрите, куда и с какими параметрами ушёл запрос. Вам надо его повторить.
5 - Там же можно посмотреть результаты запроса. Спойлер: они в не самом читабельном виде