Учусь парсить сайт, не выводит ничего что делать?

Question

[SHADRIN]

import requests
from bs4 import BeautifulSoup as bs

headers = {'accept': '*/*',
           'user-agent': 'Mozilla/5.0(X11;Linux x86_64...)Geco/20100101 Firefox/60.0'}
base_url = 'https://www.scoreboard.com/ru/football/#/'
out = 'output.txt'

def sb_parse(base_url, headers):
    session = requests.session()
    request = session.get(base_url, headers=headers)
    if request.status_code == 200:
        soup = bs(request.content, 'html.parser')

        divs = soup.find_all('table', attrs={'class': 'soccer'})
        
        for div in divs:

            href = div.find('span', attrs={'padr'}).text
            print(href)
    else:
        print('ERROR')

sb_parse(base_url, headers)

Просто ничего не выводит :(
Я только учусь задавал похожий вопрос но там хоть ошибка была, тут просто тишина.
P.S. не смотрите на блоки поиска я уже просто все вставлял думал не туда поиск веду

В тот раз был JS на сайте и нельзя было парсить через bs4 в этот раз взял вроде бы без JS (это не точно) и ответы пустые, название кнопок на сайте могу спарсить, а матчи нет

Если тут тоже JS дайте документацию отличную по "selenium"

Answer 1

[Влад Григорьев]

В хроме есть полезная вещь DevTools, в ней есть вкладка Network, если перейти на нее то станет видно что уходит куча запросов и в одном из них можно увидеть данные для таблицы:
Request URL: https://d.scoreboard.com/ru/x/feed/f_1_0_5_ru_1
но это не значит что вас тоже просто придет ответ, при беглом взгляде выглядит, что сначала надо сделать сессию.
а еще там есть вебсокет) и там бегают данные. можно подключится к нему
И обратите внимания что там Accept-Encoding: gzip, deflate, br

Comments

[SHADRIN]

Ууу неее, я такое не потяну, дайте пожалуйста документацию с чего начать что бы сайт
www.myscore. ru и www.scoreboard. com я смог спарсить

[Влад Григорьев]

shadrin_ss, они как минимум ходят к одному поставщику данных, и не удивлюсь если и разработчик у них один.
Если не хотите разбираться в основах сетевого взаимодействия, то используйте селениум.
Готового решения для конкретных сайтов вам не кто не даст.
ну а правильным вариантом стоит через контакты сходить и пообщаться с ними на тему публичного апи

Answer 2

[Дмитрий]

toddhayton.com/2015/03/11/scraping-ajax-pages-with...

Answer 3

[alternativshik]

там таблица же ajaxом подгружается, конечно, от BS тут толку ноль. Смотри, откуда она там дергается и в каком виде и забирай ее по другому адресу.

Comments

[SHADRIN]

знал бы я еще как это делать(

[Андрей Шубин]

shadrin_ss, чтобы знать, нужно начинать не с изучения парсинга сайтов, а с основ:

• HTML: Что такое селектор и как взять по нему элемент?
  
• HTTP: Как запросы ходят на сервер? Что в себе содержат?
  
• Как пользоваться инструментами разработчика в браузере? Как посмотреть какие запросы уходят со страницы на сервер?