Как найти утечку памяти в асинхронном скрипте?

Question

[Cenzor]

Есть скрипт, который в асинхронном режиме слушает udp-порты с помощью библиотеки asyncio_dgram:

ss = await asyncio_dgram.bind((listen_ip, self.port))

В цикле, поступившая информация пишется в лог (в файл и консоль):

while True:
    try:
        data, addr = await ss.recv()
        self.logger.debug('{}'.format(data.hex()))
        await asyncio.sleep(1)

При запуске скрипта видно, что и в консоль, и в файлы информация записывается (объём файлов с логами растёт). Запускаю htop и вижу, как с течением времени скрипт потребляет всё больше и больше оперативной памяти. В конечном итоге выполнение скрипта приостанавливается, либо обработка начинает занимать очень долгое время, так как израсходавана вся оперативная память. Но сам скрипт не останавливается, не выбрасывается какое-либо исключение. Подскажите, где может происходить утечка памяти? Спасибо.

Answer 1

[Вадим Шаталов]

Ну первое что на ум приходит - ты слушаешь сокет, получаешь оттуда данные в буфер и он растет по мере роста объема входных данных

Comments

[Cenzor]

А как-то можно буфер периодически очищать?

[Вадим Шаталов]

Хотя я не уверен в этом
Попробуй для начала логировать также размер занимаемой памяти (ищется легко) data и addr по мере работы
Еще что может быть - ну врядли твой скрипт - это вот эти 6 строк - может еще где есть утечка

[Cenzor]

я мониторю утилитой pympler количество объектов, фильтрую по типу объекта - CoroutineType:

class A()
    def __init__(self):
        ...
    async def do_something(self):
        all_obj = muppy.get_objects()
        coroutine_objects = muppy.filter(all_obj, Type=types.CoroutineType)
        print(len(coroutine_obkects))

Так как я в event_loop добавляю такой объект:

for i in range(1,11):
    task = asyncio.create_task(A().do_something())
    task_list.append(task)
await asyncio.gather(*task_list)

то после запуска скрипта видно, что количество обектов растёт, следовательно, это и приводит к заполнению ОЗУ. А как это предотвратить?

[WinPooh32]

Cenzor, task_list у вас хоть уменьшается?
Если у вас задачи быстрее создаются, чем завершаются, то тут очевидно, что озу не хватит.
Попробуйте поставить ограничение на количество созданных задач.

Возможно, просто GC не справляется. Проверьте свои структуры на наличие циклических ссылок.

[Cenzor]

WinPooh32 задач всего 10, но они и не должны заканчиваться, они должны постоянно получать информацию.

Answer 2

[Cenzor]

переписал на aio-udp-server, всё работает