Как увеличить производительность Python Selenium при проматывание страницы вниз?

Всем доброго времени суток . Имеется страница с товарами , при проматывании страницы вниз , соответственно подгружаются новые товары и тд и тд (их очень много ,порядка 30 000 штук) . Я использую Selenium для того чтобы проматывать страницу вниз и со временем скорость подгрузки все новых и новых товаров замедляется , причем задержка подгрузки новых товаров растет по экспоненте
34b03433527e4618ba151ba5fd99d9d7.png

Так как страниц подгрузилось много , как я понимаю копиться большое количество кеша ,которое все это дело и тормозит.Есть ли возможность чистить кеш параллельно тому как работает selenium ,ну или другие способы чтобы комп на тормозил. На Selenium уже отключил показ картинок и прочих изображений.
Использовать requests не подходит,надо именно Selenuim
Спасибо!
  • Вопрос задан
  • 486 просмотров
Пригласить эксперта
Ответы на вопрос 1
Удалить обработанные элементы в DOM-е.
Особенно если у "товара" есть event-ы c выполнением js кода, то подчищать страницу обязательно.
Ответ написан
Комментировать
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы