Как увеличить производительность для многопоточной задачи с Chrome'ами?

Question

[maksam07]

Добрый день. Создается несколько потоков, каждый открывает хром и выполняет определенные задачи. Хром занимает определенное количество оперативной памяти, поэтому много потоков сделать не получится (в обычных реалиях, а не где очень мощные компьютеры). Интересует вопрос, есть ли настройки для хрома, которые режут или графику, или что-либо еще, чтобы хром стал меньше жрать памяти и, собственно, можно было запустить больше потоков?

Answer 1

[rPman]

Не думаю что можно заметно этот момент оптимизировать, самый правильный вариант - проанализировать сетевой трафик между приложением и браузером и симулировать его другими средствами (curl например) к сожалению этот метод значительно повышает затраты на разработку.

spoiler

Интересно, кто-нибудь запилил интеллектуальный анализатор трафика в браузере чтобы для повторяющихся запросов перенести его в свой код?

Мне понравилось предложение, подменить с помощью прокси все изображения на 1x1, это должно заметно понизить потребление веб сайтом оперативной памяти и уменьшить нагрузку на процессор

p.s. есть на машине есть GPU то запускай без опции --no-gpu, по уму часть нагрузки будет перенесена на видеокарту, но не уверен что освободится оперативная память.

Можно наоборот, если машина linux, то можно разместить своп в памяти видеокарты, задействовав ее простаивающую.

Comments

[сергей кузьмин]

поставьте прокси который всю графику будет возвращать битую но маленокую

[maksam07]

графику(картинки) можно отключать путем конфига браузера, я сейчас тестирую 2 варианта по отключении картинок. Посмотрим на сколько они хорошо себя покажут
https://stackoverflow.com/a/31581387/2166371
https://stackoverflow.com/a/47897910/2166371

[rPman]

Максим Компаниец, на сколько я знаю, некоторые фреймворки предоставляют механизмы по предзагрузки изображений под своим контролем (т.е на javascript) в этом случае я полагаю будут либо ошибки либо изображения всеравно будут загружены и на них будут потрачены ресурсы

но да, я уже и забыл что браузеры имеют эту опцию, точнее я думал что ее убрали уже давно

[maksam07]

rPman, да, я ещё находил вариант с плагинами, но мне показалось, что конфигом браузера будет эффективнее. В любом случае спасибо за ответ, он навел меня на мысль поиска проблемы производительности из-за загрузки изображений, о чем я раньше сам как-то не подумал)
Позже посмотрю как она повысилась, может меня и устроит такой вариант, а может буду искать что ещё обрезать в браузере)