Можно-ли и как использовать aiohttp в комбинации с selenium?

Question

[Borusik1]

Нужно спарсить динамический сайт с хедерами с этим отлично справлялся aiohttp пока не понял что сайт динамический и некоторые элементы найти не удавалось. Можно-ли как-то сделать ожидание конкретного элемента с помощью selenium не переписывая весь код?

Answer 1

[Elvis]

изучите CSS селекторы

Comments

[Borusik1]

Я так и делал, возможно проблема когда делал суп ибо в самом коде html не нашёл этих тегов
Запрос выглядит так

async with session.get(url=url, headers=headers) as response:
        soup = BeautifulSoup(await response.text(), "lxml")

[Elvis]

Borusik1, если не нашли, то значит сайт динамически их строит посредством JS. тут вам поможет selenium
Для проверки что тегов нет - посмотрите что в response.text() возвращается.

[Borusik1]

Elvis, а то что получается посредствам

1 = soup.find(...)
2 = 1.find
и т.д.

ничего не значит? Извиняюсь за много вопросов

[Elvis]

Borusik1, значит что там всё же есть то, что вам нужно и нужно правильно задать selector

[Borusik1]

Elvis, обновил вопрос, дело было в динамичнсти

Answer 2

[Vindicar]

Искать по атрибутам id или class_.

Comments

[Borusik1]

по классу искал, безрезультатно