Как получить атрибуты динамического элемента страницы?

Question

[Maxwell012]

Есть страница, мне нужно спарсить ссылки на соц медиа, проблема в том что соц медиа можно спарсить только когда наводишь на них мышку, то есть у вас есть значок твиттер и ссылка в атрибутах появляется только при наведении. У кого есть идеи как решить данную проблему?

Comments

[сергей кузьмин]

хмм
шаг первый наводите мышк при помощи ActionChains
https://medium.com/analytics-vidhya/python-seleniu...
шаг второй находите елемен - как обычно
в чем затруднение

[Maxwell012]

сергей кузьмин, данные элемента скрыты пока не наведусь на него, пытался наводить мышку (move_to_element), но также результата не получил

[сергей кузьмин]

Maxwell012, честно говоря не верится
селениум весьма полно автоматизирует действия пользователя в браузере
предъявите урл и сценарий

[Maxwell012]

сергей кузьмин, Все заработало, было вот так:
hover = action.move_to_element(social).perform()
Изменил на:

hover = action.move_to_element(social)
hover.perform()

Но есть проблема, не всегда успевает показаться скрытая информация, мне нужно парсить большое количество информации, максимум какую задержку я ставил это было 0.2c с такой задержкой иногда не успевает

[сергей кузьмин]

Maxwell012, поздравляю делайти ожидание пока нужный элемент не станет видимым

[Maxwell012]

сергей кузьмин, Я сколько не пробовал пользоваться ожиданием от selenium оно не корректно работает, поэтому я всегда использую time.sleep(). Если вы можете, напишите пример как использовать ожидания

[Maxwell012]

Maxwell012, может я что-то не так постоянно делал

[сергей кузьмин]

Maxwell012, это уже на уровне учебника

https://seleniumbyexamples.github.io/waitvisibilityone
https://habr.com/ru/post/273089/

[Maxwell012]

сергей кузьмин, Окей, можете еще подсказать. Мне нужно перейти по ссылке на странице, как разрешить в селениум переход по ссылке?, при каждом нажатии на ссылку выскакивает уведомление в котором проситься разрешить переход

[сергей кузьмин]

это поведение специфическое для вашей страницы

например википедия никакого подтвердения не спрашивает верно ?

вам надо выяснить что там происходит и решить как бороться

думаю что там просто алерт но к сож ловить алерты в общем случае довольно муторно и в питоне особенно
тоже есть ожидания что всплывет алерт... но может оказаться труднее

как говорится "вопрос выходит за рамки бесплатной консультации"

[Maxwell012]

сергей кузьмин, Я дошел до того что мне надо загрузить хром без вкл ограничения:

Не могу найти как его отключить

[сергей кузьмин]

все вообще установки хрома документированы централизовано много где
напр

https://chromedriver.chromium.org/capabilities
https://sites.google.com/a/chromium.org/chromedriv...
https://www.browserstack.com/docs/automate/seleniu...

напр

ChromeOptions options = new ChromeOptions();

options.setExperimentalOption("excludeSwitches",
     Arrays.asList("disable-popup-blocking"));

это пример на яве на питон надо перевести типа

self.options.add_experimental_option('excludeSwitches', ['disable-popup-blocking'])

[Maxwell012]

сергей кузьмин, спасибо большое

[сергей кузьмин]

давайте я в ответы вы отметите решением

[Maxwell012]

сергей кузьмин, да конечно

Answer 1

[сергей кузьмин]

установки хрома документированы
в

https://chromedriver.chromium.org/capabilities
https://sites.google.com/a/chromium.org/chromedriv...
https://www.browserstack.com/docs/automate/seleniu...

например

self.options.add_experimental_option('excludeSwitches', ['disable-popup-blocking'])

мышь это
https://medium.com/analytics-vidhya/python-seleniu...

ожидания это

https://seleniumbyexamples.github.io/waitvisibilityone
https://habr.com/ru/post/273089/