Как оптимизировать вызов сервиса и снизить потребление памяти?

Question

[GandalfWhiteGO]

Существует сервис в котором получаю данные от базы и выполняю различные калькуляций.
Сам сервис инициализируеться получая ИД Пользователей и проблема в том, если количество ИД больше то соответственно калькуляций тоже много и повышаеться потребление памяти.
Сама задача выполняеться в фоновом процессе и если потребление памяти повышеаться то процесс сам себя отключает.

Пробовал даже ИД Пользователей подкинуть через цикл и вызвать сервис с наименьшим количеством пользователей для калькуляций, но и тут при проверке памяти через get_process_mem, при каждом обороте цикла память повышаеться.

В самом сервисе изменить нечего все сделано аккуратно, проблема в больших данных как сними справляться ?

Comments

[d'Ivan]

Покажи код или хотя бы псевдокод.

[mayton2019]

По росту памяти - я-бы не делал ничего. Это нормальный режим работы для всех runtime, имеющих Garbage Collector. Проблема может быть только тогда, когда GC не смог убрать память.

По поводу как оптимизировать вызов - скорее всего ничего здесь не подскажут без исходного кода.

Answer 1

[GandalfWhiteGO]

Всем Спасибо за комментарий, в конце канцов нашел статью ну и больее менее помогло.
Оставлю ссылку может кому то тоже понадобиться.
https://www.toptal.com/ruby/hunting-ruby-memory-issues

Comments

[d'Ivan]

Это не похоже на ответ, поскольку не приводится решение обозначенной проблеме.
Что было предпринято для решения? Что помогло?

[GandalfWhiteGO]

Román Mirilaczvili,
Да понимаю, постараюсь кратко разьяснить, во первых помогло правильное нахождение корня проблемы.
В моем случае это было несколько циклов map/each/flat_map на больших данных.
По возможности использовал запрос к базе данных вместо локальной итераций.
А там где это было не возможно использовал метод lazy.
Да время для экспорта теперь удвоилась но потребление памяти теперь не так уж и большое.