Почему rails не высвобождает память?

Question

[justed_ss]

Есть приложение, база данных с кучей данных. Есть метод в модели, формирующий файл/json путем хитрых манипуляций и потреблений гор памяти, а на выходе отдающий результат. Результат отдается через метод контроллера.
Суть проблемы в том что память не высвобождается.

Даже если не брать в расчет кривость кода и прочее, по моей теории все локальные переменные метода, не являющиеся свойствами/переменными класса должны рано или поздно уничтожится и освободить память, а этого не происходит.

rails 4.1.4 ruby 2.0.0
Пробовал ruby 2.2.2 rails 4.1.12 результат тот же
Пробовал разные веб серверы( puma, thin, webbriks ), пробовал убивать воркеры ничего не меняется.

Answer 1

[Viktor Vsk]

Потому что так работает подавляющее число скриптовых языков.
Когда нужна память - она берется из ОС. Когда память чистится, она помечается как доступная к перезаписи, но не отдается обратно ОС

Для такой задачи, как вы описали, следуте использовать фоновые очереди задач: delayed job, resque, sidekiq, rabbitmq...

Кстати, delayed job и, кажется, sidekiq - тоже не высвободят память. Их нужно будет убивать периодически убивать(например, с помощью monit и лимитом памяти). Resque же создает новый форк на каждую задачу

Comments

[justed_ss]

Ок. Но если копнуть задачу глубже, имеется три подобных метода, каждый отъедает по 500мб памяти, Запустили сервер, всё приложение ест ~100мб памяти, запустили один метод, приложение ест уже 600, запустили его в разных вариациях еще десяток раз, по прежнему в районе 600, запустили следующие 2 метода, приложение ест уже 1.5гб.

Если ruby не возвращает память в ОС, но сам эффективно разруливает выделенную для своих нужд, такой ситуации быть не должно, а максимальное потребление памяти должно быть не многим выше чем потребляет самая тяжелая задача.

Или я опять в чем то не прав?

[Viktor Vsk]

justed_ss: В теории правы.
На практике возможны варианты:
1. Код течет
2. Очередной метод срабатывает раньше, чем сборщик мусора очищает всю память

[justed_ss]

Хорошо, спасибо. Всё более менее прояснилось

[napolskih]

наверно еще может иметь место фрагментация, но скорее утечки.