Как правильно спарсить количество доставок?

Question

[RusKFA]

В общем я пытаюсь получить вот это



используя этот код

req = requests.get(url,  headers=headers)
            soup = BeautifulSoup(req.content,'lxml')




            
            try:
                    filtr = soup.find('div',{'data-testid':'delivery-badge'}, class_ = 'css-uvtelg')
            except:
                    filtr = ''

            print(filtr)

нужно получить количество доставок

Результат вот такой


А как ?

Comments

[Даниил Шевкунов]

Проверил, вроде должно работать нормально.
Может быть сайт генерится с помощью JS?
Тогда не получится спарсить через requests

[RusKFA]

Даниил Шевкунов, Я парсю olx, получается собрать всё, даже номер, но не кол-во доставок

[Даниил Шевкунов]

Попробуй класс тоже поместить в словарь

{'data-testid':'delivery-badge', 'class' :'css-uvtelg'}

[RusKFA]

Даниил Шевкунов, Не помогло братан...

Answer 1

[Даниил Шевкунов]

Та часть сайта где указаны успешные доставки не парсится через requests т.к. судя по всему генерится с помощью JS
Вот что получает requests.get

Comments

[RusKFA]

А как тогда...

[Даниил Шевкунов]

RusKFA, Ну либо selenium, либо пробовать Requests-HTML, он умеет JS генерить, но не всегда работает

[RusKFA]

Оке

Answer 2

[Кирилл Горелов]

А ты уверен, что нужно писать именно так
BeautifulSoup(req.content,'lxml')
а не
BeautifulSoup(req.content,'html.parser')

Comments

[RusKFA]

Разница в том, что lxml просто быстрее
Попробовал поставить html.parser, но ничего не поменялось

Answer 3

[soremix]

https://qna.habr.com/q/1038438#answer_2008702

Comments

[RusKFA]

Я немного покопался...

ачё дальше то?