Как освободить RAM на web-сервере uwsgi?

Question

[Jekson]

Ребятки, нужен совет. Сервер на Ubuntu 18 Digitalocean развернут на flask + nginx + uwsgi. 4 ядра 8 G RAM. Пока единственная операция - выполнение скрипта по обработке переданного через форму изображения. Операция требует большого кол-ва RAM в процессе выполнения. После каждой итерации скрипта катастрофически уменьшается память. Пока после 5-6 выполнений сервак ложится с ошибкой по нехватке памяти. Лог расхода RAM такой (первая запись после рестарта uwsgi и дальше после каждой итерации):



Статус процессов uwsgi и расход памяти процессами


Я не совсем понимаю, чем она занята. Скрипт картинку обработал и выдал результат - число, все на этом. Вопрос такой, есть ли способ после выполнения скрипта освобождать за собой RAM?

upd

Загрузка изображений стандартная фласковская, в ней же вызывается скрипт по обработке detect()

@app.route('/', methods=['GET', 'POST'])
def index():
    if request.method == 'POST':
        # check if the post request has the file part
        if 'file' not in request.files:
            flash('No file part')
            return redirect(request.url)
        file = request.files['file']
        # if user does not select file, browser also
        # submit a empty part without filename
        if file.filename == '':
            flash('NO selected file')
            return redirect(request.url)
        if not allowed_file(file.filename):
            flash("Only JPG file is used")
            return redirect(request.url)
        if file and allowed_file(file.filename):
            filename = secure_filename(file.filename)
            file.save(os.path.join(app.config['UPLOAD_FOLDER'], filename))
            img = (os.path.join(app.config['UPLOAD_FOLDER'], filename))
            count = detect(images=img)
            return redirect(url_for("result", count=count))
            #return str(count)
    return render_template("index.html")

detect() здесь можно посмотреть https://github.com/ultralytics/yolov3/blob/master/...

pps
Поправка, для чистоты эксперимента запустил скрипт обработки изображения напрямую из командной строки. В момент обработки забирает около 2G RAM. После выполнения операции роста потребления памяти нет вообще, все возвращается к первоначальному значению. Получается, что проблема проявляется после вызова скрипта через фласковскую функцию.

Answer 1

[d'Ivan]

Обработку изображений лучше сделать асинхронной, занося задачу в очередь сообщений.
Обработчик очереди будет работать в отдельном процессе. Если обработка изображения занимает много памяти, то, возможно, можно её сильно оптимизировать.
А что за обработка, если не секрет? Масштабирование? Приведение к единому формату файлов?

Comments

[Jekson]

@Роман Мирр, все куда веселее - нейроночки, детектирование объектов на фотографии и подсчет их кол-ва. Картинка раскладывается на пиксели преобразуется в матрицу и прогоняется через предобученную нейросеть.

[d'Ivan]

Jekson, может, лучше без нейронок обойтись? Есть способы погуманнее. Будь то объекты одушевленные или нет.

[Егор Казанцев]

Роман Мирр, Нейронки наше всё

[Jekson]

@Роман Мирр Интересно какие варианты вы имеете ввиду?

[d'Ivan]

Jekson, Это алгоритмы, которых не обучают, а они все равно делают свою работу. Но более конкретно пока ничего не могу рекомендовать, деталей не известно.
Упоминать в сообщении нужно мой ник 2ord, а не имя. Или просто нажать на ссылку ответить под моим сообщением.

Answer 2

[Сергей Горностаев]

Без кода ничего конкретного сказать нельзя. Может быть утечка памяти в вашем коде, может утечка в коде библиотечном, а может просто раздувание пулов. Самое простое - переложить операцию обработки изображения на отдельный процесс.

Comments

[Jekson]

@sergey дополнил вопрос
Планирую делать на RQ процесс, но с памятью то это не поможет

[Сергей Горностаев]

Jekson, если обработку запускать в отдельном процессе, то он будет завершаться и возвращать всю использованную память операционной системе, даже протёкшую. Правда, производительность такого костыля будет печальной.

Answer 3

[Jekson]

Возможно будет интересно кому то, чем закончилась борьба с памятью.
Так как утечка наблюдалась при работе на локальной машине под родным фласковским сервером, настройки uwsgi отброшены. При вызове напрямую из консоли питоновского файла detect.py все работало четко, значит функция обработки не причем. Поэтому решил послушаться советов и запустить detect.py отдельным потоком используя Redis Queue (RQ).
Заменил в def index()

count = detect(images=img)
return redirect(url_for("result", count=count))

на

job = q.enqueue(detect, img)
            while job.result is None:
                pass
            else:
                count = job.result
                return redirect(url_for("result", count=count))

И завертелось, никакой утечки. Для меня остается загадкой куда девалась память, но результатом я вполне удовлетворен. Плюс немного новых знаний по Redis, RQ, Supervisor поднял для себя)

Comments

[d'Ivan]

В любом случае лучше профилировать код обработки изображений. Он ведь написан на Python, так?

[Jekson]

Роман Мирр, ML фреймворк Pytorch, основа да - Python

Answer 4

[Егор Казанцев]

Действительно celery / gearmand и можно картинки обрабатывать хоть на дешевом VDS.

Comments

[Jekson]

Только вот, что интересно. На встроенном фласковском сервере память тоже поджирает. Проверил на локалке. Очереди процессов в таком случае помогут?

[Егор Казанцев]

Jekson, Смысл в том отделить процессы которые потребляют память и склонны к её утечкам от процессов которые мирно работают сами по себе тобишь картинки обрабатываются отдельно , веб сервер с формачками отдельно. Обработчик для картинок раз в час перезапускаем и конечно смотрим код и думаем.

[tema_sun]

Jekson, тогда логично предположить, что течет в detect'e

[Jekson]

tema_sun Логично, но там черный ящик. Поэтому и расчитывал, найти способы прибивать память на серверном уровне.

[Jekson]

Поправка, для чистоты эксперимента запустил скрипт обработки напрямую из командной строки. Роста потребления памяти нет вообще. Получается, что проблема проявляется после вызова скрипта через фласковскую функцию.