Как ограничить ресурсы бота (ОЗУ) в discord на python?

Question

[Helpmiplis]

Я хочу ограничить ресурсы моего бота в discord чтобы не зависал ноут. Например из 4гб ОЗУ использовалось только 1,5гб, так же и с процессором. Так же бот состоит из множество файлов (когах) и чтобы на них тоже действовало ограничения.

Comments

[fenrir]

Например из 4гб ОЗУ использовалось только 1,5гб, так же и с процессором

Почему вы ищите способ ограничить использование вместо того чтобы проанализировать почему ваш бот столько жрет?
Пример занятых ресурсов на среднем мультисервером боте с аптаймом в несколько месяцев.

Тот же бот запущенный локально для теста.


Даже если он условно нонстоп крутит музыку 1.5 Гб это неприлично много для бота, который судя по запуску с ноутбука написан под один небольшой сервер.

[Helpmiplis]

я привел пример сколько можно отдать боту, нагрузки нету больше 50мб. 1,5гб я выбрал для того чтобы тестировать различные производительные вещи (хоть и на это хватит 1гб). не которые "пользователи" могут попытаться крашнуть бота командами по типу "5^5^5^5" (если использовать счисления python) или другими способами. Из-за этого я хочу заранее добавить ограничения чтобы ноут не завис при краше а только бот.

[fenrir]

Helpmiplis, во-первых не стоит в принципе давать выполнять пользователям произвольный код, а если и давать, то в песочнице.
Во-вторых это стоит делать в отдельном потоке и стопать его по тайм-ауту, если он выполняется слишком долго (условно более 3 секунд)

[Helpmiplis]

так и происходит, но мне все ровно нужно ограничить бота.

Answer 1

[Roman K]

Лимиты теоретически ограничить можно, но практически - не нужно. 1.5 гб для ботика - это овердофига (если только он не обрабатывает десятки тысяч пользователей одновременно). Особенно если он асинхронный (запущен в одном процессе). Правильно - лечить проблему, а не её симптомы. Профилируй, почему у тебя бот столько жрёт. Вероятно, где-то что-то течёт. Плюс в питоне вагон способов уменьшить нагрузку на память от элементарного __slots__ до генераторов и Сишных библиотек

Ну и как сказал mayton2019, после оптимизации, если это не спасает, нужно начинать горизонтально масштабировать нагрузку.

Тупо ограничить память - это просто шанс того, что придёт OOM Killer (или его аналог) и прибьёт твоё приложение, когда оно этого не ожидает. Да, есть инструменты, например, в golang, чтобы ограничить потребление памяти, но все они делают ровно одну вещь: управляют параметрами запуска сборщика __мусора__ (то есть, памяти, которая НЕ НУЖНА). На секундочку, протёкшая память не определяется как мусор, ровно как и не является мусором НУЖНАЯ память. Её никакие оптимизаторы не сожмут никакой магией.

Есть также техника, которая позволяет "костыльно", но быстро и иногда даже эффективно избавляться от утечек памяти, не решая саму причину утечек. Тупо перезапускать воркер после X обработанных запросов, то есть, стартовать новый процесс, перекидывать трафик на него, а старый убивать вместе со всей утёкшей памятью.

Comments

[Helpmiplis]

я привел пример, бот жрет озу максимум 1-50мб (не считал). Но не которые "пользователи" могут попытаться крашнуть бота командами по типу "5^5^5^5" (если использовать счисления python) или другими способами. Из-за этого я хочу заранее добавить ограничения чтобы ноут не завис при краше а только бот.

[Helpmiplis]

Бот пока что стоит на локальном хосте. Как бета-тест пройдет буду ставить на другой хост и ограничения буду убирать.

Answer 2

[mayton2019]

Наверное коробочное решение - это запускать все в конейнерах Docker/Kubernetes.

+На стековерлоу было такое обсуждение https://stackoverflow.com/questions/41105733/limit...

Comments

[Helpmiplis]

способ из стековерлоу не помог.

[mayton2019]

Helpmiplis, а на что бот тратит память?