@Borusik1
noob python coder

Можно-ли и как использовать aiohttp в комбинации с selenium?

Нужно спарсить динамический сайт с хедерами с этим отлично справлялся aiohttp пока не понял что сайт динамический и некоторые элементы найти не удавалось. Можно-ли как-то сделать ожидание конкретного элемента с помощью selenium не переписывая весь код?
Элементы которые я ищу динамические и не обнаруживаются по-средствам aiohttp, и вообще работает ли selenium асинхронно?
async def get_data(session, cookie):
    headers = {
        "cookie": f".ROBLOSECURITY={cookie}",
        "user-agent": fake_useragent.UserAgent().random,
        "accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9"
    }
    url = "https://www.roblox.com/transactions"
    
    async with session.get(url=url, headers=headers) as response:
        soup = BeautifulSoup(await response.text(), "lxml")
        trans = soup.find("div", class_="content")
        robuxes = trans.find("div",class_="balance-label icon-robux-container")
        pending = trans.find("td", class_="summary-transaction-pending-text text-disabled")
        print(robuxes, pending)
  • Вопрос задан
  • 73 просмотра
Решения вопроса 1
@bacon
А надо всего лишь начать с понимания, что для selenium не нужен ни aiohttp, ни BeautifulSoup (в самом selenium уже есть всё нужно).
ЗЫ ну и автора в бан, за дублирования вопроса
Ответ написан
Пригласить эксперта
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы