Как оптимизировать использование Python-ом ОЗУ?

Question

[Никита]

Ситуация такая, есть бот на Aiogram 3, какое-то время он набирает обороты и хапает себе ОЗУ, после её использования он естественно обратно её не отдает (только после перезагрузки всего кода).
На вот этом сайте прочитал, что можно сделать так, чтобы упорядоченно и организованно использовать память, но как таковых примеров не приведено(((
Вопрос: как память (пуллы/блоки) из статуса "использовано" в статус "нетронуто" переводить? Или как отдавать использованную но пустую ОЗУ отдавать обратно серверу на Linux?

P.S.
Нужную инфу докину

Comments

[Vindicar]

Смотри тут. Сам memory_profiler можно найти на гитхабе.
Но вообще без описания того, что бот делает - просто гадание на кофейной гуще.

[shurshur]

Скорее всего бот сам выделяет память и не освобождает её. Причём подобного вполне себе легко достичь Ну, например, если все входящие сообщения сохранять в память, то очевидно расход памяти будет расти. Если бот популярный и пишут ему очень много, то логично, что история будет постепенно пухнуть.

Или например если бот втягивает в память содержимое всех присылаемых файлов, то память у него тоже быстро закончится. Особенно если присылают видео.

Или ошибка вообще где-то в неботовой логике.

В общем, профилировать, если нет каких-то очевидных мест утечки.

[Никита]

Vindicar, мой бот запрашивает дату рождения и по ней высчитывает тест по нумерологии. Внутри он работает с числами в списках, и записывает их в текстовые файлы, другими функциями он потом берёт нужные данные из файла (средний объём 38 байт). Из этих данных генерирует картинку и отправляет пользователю.

[Никита]

shurshur, сохранять сообщения целенаправленно или историю нужно чистить отдельной командой?

[shurshur]

Никита, это были примеры, я не имею в виду что в данном случае ровно такая проблема. В самой библиотеке история не хранится.

Кстати, насчёт отправки изображений. Если они отправляются через передачу результата открытия файла:

функция (open("имя_файла","rb"))

То файл не будет закрываться после отправки. Правильно так:

f = open("имя_файла", "rb")
функция (f)
f.close()

А лучще использовать контекстный менеджер (with):

with open("имя_файла", "rb") as f:
    функция (f)

Тогда файл закроется автоматически при выходе из блока with.

Подобные мелочи вполне могут создавать неожиданные перерасходы памяти.

[Никита]

В айограм используется такая конструкция отправки изображений/файлов/и т.д.:

photo = FSInputFile("path/name.jpg")
await call.message.answer_photo(photo)

Метода закрытия у "FSInputFile" нет. Все остальное через контекстный менеджер открывается.

[Никита]

Изучаю питон не так давно, поэтому вопрос может показаться странным...
У бота падают ошибки решить которые я не в силах, как я предполагаю они происходят когда юзер дважды нажимает на инлайн-кнопку (устройство подвисает или интернет плохой, и кнопка вовремя не убирается), и функция прерывается так как не может убрать инлайн-кнопку, так как её уже нет (убрана первым выполнением функции).
Так вот, если падает ошибка, память занятая этой функцией освобождается или нет?

[shurshur]

Никита, не должно ничего специально заниматься в памяти, если это специально не делать.

Двойные клики на кнопку надо уметь обрабатывать. Например, отмечать нажатие в state, чтобы второе нажатие не срабатывало. Или ловить исключение, на котором бот упал.

Про особенности aiogram я мало знаю, так как три с половиной небольших ботов я когда-то написал с помощью телебота.

В общем-то, не видя кода, сложно что-то конкретное советовать. Может, там какая-нить очевидная жырная проблема, которую мы тут даже не подумали...

[Никита]

Я по ходу нашёл эту жирную проблему...
Как оказывается графики и картинки (создаваемые в достаточном объёме), необходимо закрывать...
Спасибо!

Answer 1

[fenrir]

Aiogram 3 набирает обороты и хапает себе ОЗУ

Начните с доказательства этого утверждения.
Как минимум мой опыт свидетельствует об обратном: десяток запущенных ботов потребляют на сервере один и тот же объем ОЗУ с аптаймом в несколько месяцев.

Очистка памяти в Python выполняется автоматически путем подсчета ссылок на объекты и сборкой мусора (для циклических ссылок). Есть интерфейс для взаимодействия со сборщиком, но он не будет вам полезен. Запустите бот через профайлер вроде memray и ищите с чем связана проблема.