Beanstalkd в docker падает из-за нехватки памяти. Почему?

Question

[Евгений Рудченко]

Здравствуйте! Использую сервер очередей beanstalkd. За час в очереди обрабатываются более 100 тыс задач, все хорошо, но спустя 3-4 часа работы - docker контейнер с beanstalkd-ом отлетает из-за нехватки оперативы...

Oct 15 13:52:40 vps kernel: Out of memory: Kill process 3642 (beanstalkd) score 671 or sacrifice child

Мониторю контейнер командой "htop", нагрузка в нем 0.1-4% от оперативки и так на протяжении всей его работы. Что может быть причиной завершения процесса?

Запускаю beanstalkd командой:

docker run -d -p 11300:11300 schickling/beanstalkd -z 1512000

Воркеры работают через supervisor

Comments

[Евгений Рудченко]

Нашел вот такой способ:

docker run -it -m 512m --memory-swap 512m --oom-kill-disable -d -p 11300:11300 schickling/beanstalkd -z 1512000

Запустить контейнер, ограничить используемую память и отключить OOM-KILL. Но что в таком случае будет, если память переполнится? Будет ждать пока освободится или же просто отключится контейнер?

Answer 1

[Vitaly Karasik]

Мониторю контейнер командой "htop", нагрузка в нем 0.1-4% от оперативки и так на протяжении всей его работы

Что-то мне не верится. У вас cronjob для мониторинга или время от времени запускаете вручную?
Я бы сделал cron типа

top -b -o +%MEM | head -n 10 >> /tmp/memory.out

Уверен что мы увидим memory leak.

Насчет идею отключить OOKiller - я не знаю, что точно будет происходить, но уверен, что это не улучшит ситуацию.

Comments

[Евгений Рудченко]

Да, запускаю вручную мониторинг. Отключил OOKILLER, контейнер докера не умирает, он просто перестает работать. В пиковые моменты контейнер загружает всю выделенную ему память. Решил пока что так:

# docker restart #idcontainer >/dev/null 2>&1

через крон 3 раза в день. Можете что то другое подсказать?

[Vitaly Karasik]

Евгений Рудченко,
Это нормально как workaround.
Если есть желание разобраться и устранить причину memory leak, советую:
- запускать top в контейнере автоматически каждые 5-10 минут - пример команды в ответе
- посмотреть есть ли что-то интересное в логе beanstalkd
- проверить какая версия beanstalkd у вас - может быть стоит обновить. Например, есть https://github.com/beanstalkd/beanstalkd/issues/382.