Браузер в бесконечном цикле while получает код страницы , которая обновляется динамически.
beautifulsoup получает код и считывает нужные данные и тд.
Но бывает что как бы данные на сайте зависают, как это можно отловить ?
После обновления страницы все ок, но обновлять не хочется можем не успеть считать нужные данные тк они быстро меняются. Может кто сталкивался. Кеш может поможет отключить или еще что ???
Буду благодарен за помощь в данном вопросе.
Alexa2007, У selenium свои парсеры дико медленные, у меня получалась разница с bs где-то в 4 раза. Так что топик стартер все правильно делает bs = BeautifulSoup(driver.page_source)
Если ты браузер запускаешь в headless mode, то попробуй отключить его, бывает так, что сайты ведут себя абсолютно по разному в headless/no-headless режими. Попробуй также подключить другой браузер.
Простой
