Как ограничить процессу оперативную память по PID?

Question

[Школьник.]

Слышал про cgroup но не нашёл нигде команду для ограничения памяти процессу.

Answer 1

[Олег Цилюрик]

Можете попробовать изменить лимит RAM в ограничениях экземпляра командного интерпретатора, из которого выполняете программу ... см.:

$ ulimit -Sm
unlimited

Слышал про cgroup

Для этого нужен LXC контейнеры.
Вы готовы пойти таким достаточно сложным путём для такой простой цели?

но не нашёл нигде команду

Возможно вам что-то подскажет перевод целой серии статей непосредственно от автора LXC: LXC 1.0

Comments

[Школьник.]

А для Screen подойдёт?

[jcmvbkbc]

>> Слышал про cgroup
> Для этого нужен LXC контейнеры.

Не нужны. LXC построены поверх cgroups, но cgroups можно использовать сами по себе.

[Школьник.]

Какую команду прописать ulimit -sm память-в-кб?

[Школьник.]

Олег Цилюрик Какую команду прописать ulimit -sm память-в-кб?

[Олег Цилюрик]

Владимир Мусихин:
сделайте:

$ ulimit -a
core file size          (blocks, -c) 0
data seg size           (kbytes, -d) unlimited
scheduling priority             (-e) 0
file size               (blocks, -f) unlimited
pending signals                 (-i) 32089
max locked memory       (kbytes, -l) 64
max memory size         (kbytes, -m) unlimited
open files                      (-n) 1024
pipe size            (512 bytes, -p) 8
POSIX message queues     (bytes, -q) 819200
real-time priority              (-r) 0
stack size              (kbytes, -s) 8192
cpu time               (seconds, -t) unlimited
max user processes              (-u) 32089
virtual memory          (kbytes, -v) unlimited
file locks                      (-x) unlimited

[Олег Цилюрик]

Владимир Мусихин:
bash (1)

ulimit [-SHacdflmnpstuv [ограничение]]

[Школьник.]

Олег Цилюрик: Вот моя команда: shell_exec('sudo screen -d -m -S ch'.$data.' script -c "sudo -u ch'.$data.' java -Xincgc -Xmx'.$servertype.'M -Xms'.$servertype.'M -XX:MaxPermSize=128M -XX:+UseConcMarkSweepGC -XX:+CMSIncrementalPacing -XX:ParallelGCThreads=4 -XX:+AggressiveOpts -Dfile.encoding=UTF-8 -jar ch.jar" -f /home/ch'.$data.'.txt');

Как сюда впихнуть ulimit???

[Школьник.]

Олег Цилюрик: Вот я добавил, а он не работает хотя в консоли работал: shell_exec('sudo screen -d -m -S ch'.$data.' script -c "ulimit -Sv 1 & sudo -u ch'.$data.' java -Xincgc -Xmx'.$servertype.'M -Xms'.$servertype.'M -XX:MaxPermSize=128M -XX:+UseConcMarkSweepGC -XX:+CMSIncrementalPacing -XX:ParallelGCThreads=4 -XX:+AggressiveOpts -Dfile.encoding=UTF-8 -jar ch.jar" -f /home/ch'.$data.'.txt');

[Олег Цилюрик]

Владимир Мусихин:
Вы же это делаете в каком-то окружении, исполняющей системе, не консоль/терминал ... ни словом ни пол-словом в вопросе этого не было... кто за вас угадывать станет?

[Школьник.]

Олег Цилюрик: в screen как это сделать? Или просто можно пользователю ограничить

[Олег Цилюрик]

Владимир Мусихин:
я не знаю кто такое screen ... вы хоть намётку дайте - чего вы там крутите?

[Школьник.]

Олег Цилюрик: Sreen - это виртуальная консоль. Ну просто можно по PID процесса ограничить оперативную память или пользователю ограничить память?

Answer 2

[Михаил]

Вам нужен CGroups.
ulimit прекрасно обходится и толком не работает.

Comments

[Олег Цилюрик]

кем обходится и что значит током не работает?

[Олег Цилюрик]

Михаил:

вы слышите меня, стены?

[Михаил]

Олег Цилюрик: слышу, просто очень много работы.
"Обходится": значит процесс вырывается из его рамок.
Толком не работает: попробуйте поставьте ulimit на объем памяти или процессорное время и запустите fork-бомбу или burnMMX. Результат будет у вас перед глазами.

[Олег Цилюрик]

Михаил:
Я не знаю что такое "процесс вырывается из его рамок", но я знаю, что такое вот ограничение:

$ ulimit -S -u 300
...

- ограничивает параллельно ветвящиеся процессы (и даже потоки pthread_t) этой величиной, с ошибкой:

Resource temporarily unavailable

[Олег Цилюрик]

Михаил:

попробуйте поставьте ulimit на объем памяти или процессорное время и запустите fork-бомбу или burnMMX.

Хотелось бы ссылку или код.

[Михаил]

Олег Цилюрик: на каком языке нужен код форк-бомбы? На вики есть основные популярные: https://ru.wikipedia.org/wiki/Fork-%D0%B1%D0%BE%D0...

[Олег Цилюрик]

Михаил:

На вики есть основные популярные: https://ru.wikipedia.org/wiki/Fork-%D0%B1%D0%BE%D0...

Ой! ...
А я и вправду перепугался, думал что бомба ... террористы обложили ...
То, что там пишут в WiKi - полная херня! ... по крайней мере, относительно POSIX/Linux ... что там в Windows-ах - не знаю, меня не колебёт...
Делаем ... "бомбу" ... блин ...

int main( int argc, char **argv ) {
   int i = 0;
   while( i++, fork() >= 0 ); 
   printf( "i=%d\n", i );
   kill( -2, SIGINT );
}

А дальше убеждаемся, что ... никакого "отказа от обслуживания" не происходит, а максимальное число процессов меняется точно следуя ulimit -Su ... (но вовсе не равно ему, как и следует быть).

[Михаил]

Олег Цилюрик: "А я и вправду перепугался, думал что бомба ... террористы обложили ..."

Терпеть не могу сарказм от людей, которые переоценивают уровень своих знаний.
Не получилось по нормальному преодолеть лимит - вышвыривайте данные из резидентной памяти в виртуальную за счет импорта ненужных библиотек, которые можно на лету генерить пустышками. Не хватит знаний из резидентной выйти - бейте в дисковый кэш (все равно Linux через задницу drop caches делает). Уж не смочь выжрать всю память - это позор для программиста.

[Михаил]

Олег Цилюрик: "То, что там пишут в WiKi - полная херня! ... по крайней мере, относительно POSIX/Linux "
Ну так сотрите и напишите как правильно. Это же wiki, где пишет социум, а не хозяин ресурса. Но я бы не рекомендовал портить документ, пока не разберетесь. Потому что по данному вопросу все верно там написано.

[Олег Цилюрик]

Михаил:

пока не разберетесь.

Так разобрался уже... - не первый год параллелизмами занимаюсь... Ещё лет десять назад написал книгу (которая по некоторым отзывам присланным "лучшее что написано на русском языке по вопросу"):


И ещё раз повторю: пыанэры пишут херню - они просто не разобрались что происходит в том, что они наблюдают. Вообще в пыанэрах это всегда смущает: ты сначала школу закончи, а потом пиши, а не наоборот.

[Михаил]

Олег Цилюрик: "Ещё лет десять назад написал книгу"
Написали книгу, а про Cgroups не знаете?

Кто такие пыанэры не знаю.

Answer 3

[jcmvbkbc]

Пара ссылочек по теме о современных способах манипуляции группами в разных дистрибутивах:
https://wiki.archlinux.org/index.php/Cgroups
https://www.digitalocean.com/community/tutorials/h...

Хардкорный способ с ручным добавлением группы (memory:/test), ограничением памяти в ней (одним мегабайтом) и перемещением процесса ($PID) в неё:

# mkdir /sys/fs/cgroup/memory/test
# echo 1048576 > /sys/fs/cgroup/memory/test/memory.limit_in_bytes
# echo $PID >  /sys/fs/cgroup/memory/test/tasks