Как уменьшить нагрузку на пк при использовании selenium?

Question

[mollya]

Привет, использую selenium на python. Вопрос, как уменьшить нагрузку на пк при использовании данного модуля как можно больше.

Answer 1

[Михаил Р.]

Headless

Comments

[mollya]

Он наоборот увеличил нагрузку и есть еще другие способы понижения нагрузки

[Михаил Р.]

mollya,

Он наоборот увеличил нагрузку

По мои наблюдениям, headless режим сильно уменьшает нагрузку на видеоядро.

[mollya]

Михаил Р., окей, а есть еще способы? Просто мне надо тогда запустить selenium в 20 потоков, это 20 браузеров

[Everything_is_bad]

mollya, взять сервере который выдержит такую нагрузку, парсить selenium всегда было ресурсозатратно, тут ничего особо не сделать.

[Михаил Р.]

mollya,

окей, а есть еще способы?

Использовать контексты одного браузера, один профайл итп.

Просто мне надо тогда запустить selenium в 20 потоков, это 20 браузеров

20 потоков, это примерно 6 гигов оперативы, что совсем не много.

[mollya]

Михаил Р., ну, а мне надо чтоб это было не 6 гигов оперативы, а 2 к примеру. Может есть модули которые работают с динамическими сайтами is, но не так сильно жрут память?

[Михаил Р.]

mollya, нет, такая оптимизация не возможна. Можно отключить изображения и css, но это даст проценты, ну максимум десяток процентов снижения нагрузки на машину.

Может есть модули которые работают с динамическими сайтами is, но не так сильно жрут память?

Чтобы так оптимизировали нагрузку? Не знаю таких.

[Михаил Р.]

mollya, как вариант, requests-ом парсить статику, затем изучить, откуда динамика получает данные и парсить им же эти данные. Но предположу, что при большой нагрузке, владелец сайта относительно скоро заблочит данный механизм получения данных.