Как отловить зависание selenium?

Question

[potapovdmtriy]

Браузер в бесконечном цикле while получает код страницы , которая обновляется динамически.
beautifulsoup получает код и считывает нужные данные и тд.
Но бывает что как бы данные на сайте зависают, как это можно отловить ?
После обновления страницы все ок, но обновлять не хочется можем не успеть считать нужные данные тк они быстро меняются. Может кто сталкивался. Кеш может поможет отключить или еще что ???
Буду благодарен за помощь в данном вопросе.

Comments

[Alexa2007]

Как отловить зависание selenium?

beautifulsoup получает код

Так чем ты пользуешься?

[potapovdmtriy]

Alexa2007, Selenium использую для получения html кода страницы и передаю его в beautifulsoup. Зависают данные на странице.

[Alexa2007]

potapovdmtriy, но у selenium есть свои парсеры, https://selenium-python.readthedocs.io/locating-el...

И он кстати паразитирует на установленном браузере. Проверь зависает ли та же страница. Если ее открыть просто в браузере.

Может проблема в другом месте.

[Дмитрий]

Alexa2007, У selenium свои парсеры дико медленные, у меня получалась разница с bs где-то в 4 раза. Так что топик стартер все правильно делает
bs = BeautifulSoup(driver.page_source)

[Дмитрий]

Если ты браузер запускаешь в headless mode, то попробуй отключить его, бывает так, что сайты ведут себя абсолютно по разному в headless/no-headless режими. Попробуй также подключить другой браузер.