В BeautifulSoup при парсинге вместо текста выводятся какие-то параметры в {{}}. Как это исправить?

Question

[Vl656]

У меня есть задача: спарсить с сайта AVON специальные предложения.
При выполнении вот этого кода:

import requests
from bs4 import BeautifulSoup as BS
url = "https://my.avon.ru/specialnye-predlozhenija/19/vse-spetspredlozheniya"
r = requests.get(url)
html = BS(r.content, "html.parser")
obj = html.find('a', attrs={"class": "SpecialOfferTitle"})
print(obj)

в тексте тега выводится {{::MaxText(specialOffer.Headline, (Lay...

Answer 1

[Сергей Карбивничий]

Нажимаем F12 и внимательно изучаем запросы(особенно, xhr). После того как внимательно изучили, делаем скриптом запрос по адресу "my.avon.ru/api/specialoffersapi/getcategorypromotions?promoCategoryId=19", получаем готовый json и работаем с ним.

Answer 2

[kirillinyakin]

Скорее всего эти атрибуты выводятся после отработки JS скриптов, а requests с этим справиться не может. Можете попробовать использовать Selenium

Answer 3

[soremix]

Контент через JS рендерится.
Исходный код смотрите только через Ctrl+U.
Чтобы найти откуда появляется нужная информация, нажимаете F12 -> Network -> обновляете страницу. Во вкладке XHR смотрите какие запросы отправляются, и какие на них приходят ответы. Находите нужный, повторяете его через requests
В вашем случае URL будет

https://my.avon.ru/api/specialoffersapi/getcategorypromotions?promoCategoryId=19