Нужно спарсить динамический сайт с хедерами с этим отлично справлялся aiohttp пока не понял что сайт динамический и некоторые элементы найти не удавалось. Можно-ли как-то сделать ожидание конкретного элемента с помощью selenium не переписывая весь код?
Элементы которые я ищу динамические и не обнаруживаются по-средствам aiohttp, и вообще работает ли selenium асинхронно?
async def get_data(session, cookie):
headers = {
"cookie": f".ROBLOSECURITY={cookie}",
"user-agent": fake_useragent.UserAgent().random,
"accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9"
}
url = "https://www.roblox.com/transactions"
async with session.get(url=url, headers=headers) as response:
soup = BeautifulSoup(await response.text(), "lxml")
trans = soup.find("div", class_="content")
robuxes = trans.find("div",class_="balance-label icon-robux-container")
pending = trans.find("td", class_="summary-transaction-pending-text text-disabled")
print(robuxes, pending)
