Какие настройки подкрутить, чтобы запускать сразу много процессов жрущих память?

Question

[synapse_people]

Здравствуйте!
Есть задача запускать одновременно 124 хромов, в среднем жрет 512мб памяти каждый процесс (там еще несколько процессов запускается, в общем получается 1 гиг). На сервере 128 гб.
При запуске одновременно некоторые процессы начинают вылетать, без логов, просто чисто... буд-то ос убивает процессы "в тихую"...
Если стартовать их с задержкой в 10 сек, все ок.
Что уже подкручено:

/etc/sysctl.conf:    kernel.pid_max = 4194303
/etc/security/limits.conf: synapse soft nofile 99100000

Какие еще есть настройки в ОС debian 9.9, чтобы можно было подумать на них? Помогите, плиз!

Comments

[synapse_people]

хромы запускаются через chromedriver

[Модератор]

synapse_people,

Не надо писать комментарии в секции ответов

[zlo1]

Использовать ядро Linux c UKSM
https://github.com/dolohow/uksm

или поднять виртуальные (клоны) машины под KVM и включить KSM

(U)KSM может вразы ужать память для похожих процессов (виртуалок)

[Георг Гаал]

В операционной системе предусмотрен механизм OOMKiller. Он начинает убивать процессы, в случае, если выделение памяти уже невозможно. Проблема в том, что Линукс очень оптимистично выделяет программам оперативную память. И зачастую получается, что можно потребовать больше ОЗУ, чем есть. Какие могут быть решения? Ну, для начала надо разобраться - устраивает ли нас такая ситуация в целом. Если нет - подкручиваем overcommit памяти, чтобы память выделялась только в случае ее наличия. Далее можно подкрутить параметры ООМ, чтобы он убивал определенные процессы или нет. Третья вещь - проверьте достаточно ли своп памяти. Она позволяет сгладить эти пиковые моменты потребления, в случае недостатка физической памяти. В четвёртых, можно понавключать всякие опции по дедупликации и сжатии памяти в ядре.

[synapse_people]

zlo1, у меня хромы, а так можно тогда и докер настроить, но нужно быстрое решение, а сборку ядра с патчами я не потяну сейчас

[synapse_people]

Георг Гаал, а кто сказал, что ООМ? Из 128 гб свободно 10гб остается, плюс своп еще 120 гб, из которых используется 0 кб...
Просто хромы падают как-то не понятно и все, все другие процессы нормально работают... Со squid было аналогично, но я сделал цикл на 25 итераций, пока он нормально не запустится, а то тоже иногда по какой-то причине, аналогичной хрому - не запускается более 100 процессов
Вот меня цифра эта волнует, если бы не ровно было, я бы подумал, что где-то лимит, а так 100 я просто уверен, что это какой-то лимит

[Георг Гаал]

synapse_people, это просто как одна из возможностей. dmesg в руки и вперёд. И, да, 100 процессов - это вряд ли какой-то лимит.
Можете попробовать в докеры упаковать, но это скорее больше сложностей в отладке даст, чем преимуществ. Но именно лимит на кол-во процессов точно поможет отловить

Answer 1

[poige]

Для начала, vm.overcommit_memory поставить в 1, если там 0.