Как увеличить производительность Python Selenium при проматывание страницы вниз?

Question

[Eva05]

Всем доброго времени суток . Имеется страница с товарами , при проматывании страницы вниз , соответственно подгружаются новые товары и тд и тд (их очень много ,порядка 30 000 штук) . Я использую Selenium для того чтобы проматывать страницу вниз и со временем скорость подгрузки все новых и новых товаров замедляется , причем задержка подгрузки новых товаров растет по экспоненте


Так как страниц подгрузилось много , как я понимаю копиться большое количество кеша ,которое все это дело и тормозит.Есть ли возможность чистить кеш параллельно тому как работает selenium ,ну или другие способы чтобы комп на тормозил. На Selenium уже отключил показ картинок и прочих изображений.
Использовать requests не подходит,надо именно Selenuim
Спасибо!

Comments

[Александр Бушманов]

соответственно подгружаются новые товары и тд и тд

А те что "промотали" остались в дереве элементов? Как осуществляется пагинация?
Возможно, дело в том, что в принципе страница "перегружена".
Если отбросить selenium и ручками сами проскроллить страницу, ситуация воспроизводится?

Answer 1

[Евгений Палыч]

Удалить обработанные элементы в DOM-е.
Особенно если у "товара" есть event-ы c выполнением js кода, то подчищать страницу обязательно.