Я использовал scrapy для парсинга сайта, как спарсить json с этого сайта?

Question

[Black back]

Короче захожу на этот сайт https://www.marathonbet.ru/su/results.htm
С помошью selenium нажимается на дату например 11 сентября
и данные приходять в json на html страницу
Пробовал с (css селоктора scrapy ) возвращает пустоту ибо возвращает в json ax.
Как я могу спарсить эти данные ?
Какие варианты есть?

Answer 1

[shurshur]

Если scrapy не помогает, то selenium. Либо изучить, какие запросы делает сайт, и повторить их самостоятельно.

Comments

[Black back]

что читать для написания своего запроса, можешь скинуть ссылку пж?

[shurshur]

Black back, я посмотрел, этот сайт дёргает https://www.marathonbet.ru/su/react/results/list POST-запросом, передавая json с кучкой параметров. Я бы начал с того, что попробовал повторить типичный запрос со ставками на футбол с помощью requests, примерно так:

r=requests.post('https://www.marathonbet.ru/su/react/results/list', data={ 'selectedSports': ['1763046'], ..... })

for sport_data in r.json()["sports"]:
  print (sport_data["title"])
  for cat_data in sport_data["categories"]:
    for event_data in cat_data["events"]:
       ....

[Black back]

shurshur, ок спс братан

Answer 2

[Stalker_RED]

json.loads()