Какой профайлер для Python работает в режиме реального времени?

Question

[Никита Рощенко]

Добрый день, есть приложение работающее с модулем vk api "vk_api" и логами в нескольких потоках "threading" в фоне, на каждого пользователя по 2-3 потока. После совершения какого либо действия через api, в потоке срабатывает time.sleep что бы обойти лимит по количеству запросов.

Так вот в чем проблема, при количестве пользователей ~ >3 (6-9 потоков) в течении первых минут 20 приложение работает удовлетворительно, но где то через 20 минут начинает съедаться много оперативной памяти и приложение начинает тормозить с отправкой запросов. Чем больше пользователей программа обрабатывает, тем быстрее начинает тормозить.

Есть подозрения что где то идет утечка памяти, но так как я в Python новичок то не могу понять где.

Нужен профайлер для определения на что со временем тратится много памяти отображаемый информацию в режиме реального времени, так как приложение по задумке работает в бесконечном цикле в фоне. А cProfile насколько я понимаю отрабатывает только после завершения приложения.

Буду благодарен за любые советы =)

Answer 1

[Andrey K]

https://pypi.python.org/pypi/memory_profiler

Comments

[Никита Рощенко]

Насколько я понял этот профайлер тоже выдает информацию по факту завершения программы, у меня же программа должна в теории работать бесконечно

[Andrey K]

Нет, он выдает информацию сразу после завершения профилируемой функции.

[Никита Рощенко]

Andrey: запустил такой пример:

@profile
def my_func():
    a = [1] * (10 ** 6)
    b = [2] * (2 * 10 ** 7)
    del b
    return a

if __name__ == '__main__':
    while True:
        my_func()

С такими параметрами: python -m memory_profiler memory.py

В консоль ничего не выводится, так как ожидает завершения программы.

[Andrey K]

Странно, у меня выводится.

[Никита Рощенко]

Andrey: Разобрался, оказывается нужно было просто запустить в качестве "декоратора":

from memory_profiler import profile
a = []
@profile
def func():
    global a
    a.append("some data")

while True:
    func()

Теперь правда консоль просто разрывается от вывода :)

Answer 2

[Станислав Фатеев]

Guppy\Heapy

from guppy import hpy; hp=hpy()
a = []
while True:
    a.append("some data")
    print hp.heap()

Запустив данный пример, вы увидите как растет использование памяти, что вызвано расширением списка a

Comments

[Никита Рощенко]

Запустил в тест.

Вот его вывод в консоль:
Partition of a set of 25964 objects. Total size = 3332848 bytes.
Index Count % Size % Cumulative % Kind (class / dict of class)
0 11843 46 939816 28 939816 28 str
1 5836 22 470288 14 1410104 42 tuple
2 330 1 279408 8 1689512 51 dict (no owner)
3 69 0 213624 6 1903136 57 dict of module
4 199 1 210856 6 2113992 63 dict of type
5 1632 6 208896 6 2322888 70 types.CodeType
6 1596 6 191520 6 2514408 75 function
7 199 1 177008 5 2691416 81 type
8 124 0 135328 4 2826744 85 dict of class
9 1045 4 83600 3 2910344 87 __builtin__.wrapper_descriptor
<90 more rows. Type e.g. '_.more' to view.>

Но единственное что менялось это Total size = 3332848 bytes. Он все время увеличивался, то что растет потребление памяти это понятно. Но вот где он растят я не вижу из этого лога(

Answer 3

[Yuri Shikanov]

один, два
или более простой вариант - New Relic

Comments

[Никита Рощенко]

Ну new relic слишком для pet проекта =)

А вот за это https://github.com/what-studio/profiling с live profiling очень низкий вам поклон и благодарность, оправдало все мои ожидания и надежды!

[Yuri Shikanov]

Никита Рощенко: у new relic есть бесплатный период )