В чём может быть проблема, в парсинге многостраничного сайта?

Question

[kopelev2000]

В общем то, в чём проблема.
При парсинге выбивает ошибку:

Но дело в том, что скрипт работает нормально до какого-то момента.
Например, надо собрать инфу с 1000 страниц, ошибка срабатывает только на 100+ странице, в не таких масштабах (около 100 страниц, на странице 8), с чем может быть связано?

Comments

[kopelev2000]

Pavel Denisov, так я вроде бы это разобрал и поставил задержку, чтобы успевало прогрузится и найти нужные элементы

[kopelev2000]

Pavel Denisov, получается, что стоит обратится к элементу заново?

[Максим Федоров]

kopelev2000, как угодно -- например запомнить ссылку на потом, пропустить и идти дальше...

Answer 1

[Дмитрий Еремин]

Проблема в том, что элемента уже нет на странице. Он есть в памяти драйвера, но в DOM уже нет
Поэтому, когда драйвер получает коману обратиться к элементу, для него все ок пока он не начинает искать его в браузере.
Вторым похожим сценарием может быть пересоздание элемента. Если вдруг элемент был почему-то пересоздан на странице, у него уже другой идентификатор, и драйвер о нем не знает

Я не видел вашего кода, но, подозреваю, вы записываете элемент в переменную, а потом к ней обращаетесь. Что, собственно, с точки зрения программирования, правильно

Выход простой: не сохраняйте в переменную. Ищите элемент каждый раз заново и сразу же выполняйте нужное дейсвие.

browser.find_element_by_id("your_element_id").click()