Сервер на питоне Жрёт память?

Question

[maryaTurova]

Сори за нубный вопрос!
Обучил нейронку, т.к. имеется необходимость в распознавании картинок.
С данным языком я на ВЫ прошу камнями не кидаться :)

Но при работе происходит просто ЖОР оперативы, буквально за пару часов может перевалить за 10 Гб.
Что не так?

Comments

[Влад Григорьев]

ну classes - можно сделать кортежом и сформировать один раз в не функции
tf.keras.models.load_model - тоже выглядит что можно один раз сделать и не создавать постоянно объект

image_gen_val.flow_from_directory - вот вам точно всегда надо подгружать всю директорию, а не только полученный файл обрабатывать

питон хоть и умеет сам убирать объекты, но это не значит что надо все время все пересоздавать

[maryaTurova]

На счет всей директории ......там всего-то 1 картинка, которая как раз сохранилась от клиента, но это мелочь.......я исправлю кнешно!
На счет "tf.keras.models.load_model" - в этом как раз проблема, если этот обьект создать один раз на постоянку, то распознавалка не фурычит

[Влад Григорьев]

maryaTurova, я не большой спец по машинному обучению, но ковырял бы в сторону того что бы не грузить каждый раз модель.
они большие и жирные, и насколько мне известно так особо не делают
по запускайте локально, разберитесь почему не фурычит, может вы что-то не так делаете, что очень вероятно.

[Дмитрий Шицков]

если этот обьект создать один раз на постоянку, то распознавалка не фурычит

Вот что это значит? Ошибки какие, логи, трассировки?
Ну и да, дев сервер фласка не стоит использовать в проде

[maryaTurova]

Дмитрий Шицков,
Вообщем если загружать модель вне функции, а сразу в шапке прописать, то выдает внутреннюю ошибку сервера

500 Internal Server Error
Internal Server Error
The server encountered an internal error and was unable to complete your request. Either the server is overloaded or there is an error in the application.

В логе пишет:

ValueError: Tensor("total:0", shape=(), dtype=resource) must be from the same graph as Tensor("Placeholder:0", shape=(), dtype=float32)

Работает только , если загружать модуль в запросе! (в самой фукции) :(

Answer 1

[Ternick]

1) Вы используете сервер скорее всего в режиме дебага, такое никогда нельзя допускать.
2) Можно попробовать какой-нибудь другой сервер, например waitress и может, что то изменится :)

Comments

[maryaTurova]

Сервер поднят с помощью Flask! Не понимаю как он может поднятся в режиме дебага!
Я думаю причина в самой распознавалке., при каждом запросе загружается модель, что в итоге приводит к жору.
Но я в этом деле нуб ....так что может вы и правы!

[Ternick]

maryaTurova, Он может подыматься в режиме дебага, но по стандарту он поднимается в обычном режиме.
Может причиной и может быть распознавание, если это так то советую установить очередь на распознавание, это поможет сократить ресурсы и не убить хилый сервер,

[maryaTurova]

Ternick, Да там очереди та даже нет. Запустил для теста в один поток, по одной картинки

[Ternick]

maryaTurova, Здаётся мне сервер тут не при чём...

[maryaTurova]

Ternick, Да ....тоже уже понял!
Проблема в загрузке модели при каждом запросе, как избежать ...не знаю :(

[Ternick]

maryaTurova, Это не проблема, проблема в весе моделей...

[maryaTurova]

Ternick, Перед обучением ,надо было уменьшить картинки? Верно?

[Ternick]

maryaTurova, Я в машинном обучении 0 :)