Как мониторить медленные и прожорливые места скрипта?

Question

[Roma Naumenko-Vahnitsky]

Пишу свою Python библиотеку с использованием Socket когда залил на хостинг поначалу использовало ОЗУ к 110 мб(Это минимум) но когда я уже сделал основные функции, залил а ОЗУ ест уже к 190 мб, как мне отмониторить каждое место и вывести время исполнения скрипта?

Answer 1

[Михаил]

Класс datetime.timedelta - разница между двумя моментами времени, с точностью до микросекунд.
то есть, в начале функции получаем время, и в конце, заткм выхываем timedelta(start_time, end_time) и хоп, вам показывают на какой промежуток выполняется онктретная функцияф или кусок функции

или просто получаем время вначале потом в конце и потом вычитваемиз конечного начальное время это самый легкий способ

Comments

[Roma Naumenko-Vahnitsky]

Если кратко мне просто выводить секунды и миллисекунды реального времени и дальше делать вывод?

[Михаил]

вот как раз у Артём Клименко прям то что я и писал только в рабочем примере, на входе (__enter__)он берет время начала работы потом выполняет все что ему надо в контексте этого класса и по завершени.ю контекста(весь твой обернутый код выполнился) заканичвается и класс оберка вызывается метод __exit__ который и берет время начала которое мы в самом началае сохранили и вычитает его из текущего то есть это более сложная и удобная реализация того что я описал выше, на выходе мы имеем время выполнения любого обернутого куска, соответсвеннно если 1 кусок отрабатывает 0.000001 сек а второй 10500 секунд как миниум стоит задумать над тем чтоб этот кусок рефакторнуть на более мелкие куски и постепенно выделить самыый мелкий и самый жрущий кусок а потом думать над альтернативной реализацией(потоки, кеширование данных етк)

[Михаил]

если не хотите заморачиватся с профайлером и контектом, то все просто в начале куска получаем время и в конце куска вычитаем текущее от замеренного в начале......PROFIT

[Roma Naumenko-Vahnitsky]

Михаил: Ясно спасибо)

Answer 2

[Артём Клименко]

потребление памяти: https://pypi.python.org/pypi/memory_profiler

Для замера времени выполнения в боевых условиях использую обычно такой менеджер контекста:

class Profiler(object):
    def __init__(self, message_format='Elapsed time: {:.3f} sec'):
        self._message_format = message_format

    def __enter__(self,):
        self._startTime = time.time()

    def __exit__(self, rtype, value, traceback):
        print(self._message_format.format(time.time() - self._startTime))

использовать крайне просто:

with Profiler():
    <код время выполнения которого необходимо замерить>

1. Код программы почти не нуждается в изменении.
2. минимальные накладные расходы(крайне важно поскольку "нормальные" профилировщики сильно всё затормаживают, но и выдают гораздо более детальную информацию)
3. замерит время в любом случае, если даже произойдёт исключение.
4. аналогичную конструкцию(с минимальными изменениями для работы с logging) использую и в продакшене.

Answer 3

[un1t]

1) в библиотеке Pympler есть функця asizeof

2) можно юзать такой декоратор

import time

def timeit(f):

    def timed(*args, **kw):
        ts = time.time()
        result = f(*args, **kw)
        te = time.time()

        print('func:%r args:[%r, %r] took: %2.4f sec' % (f.__name__, args, kw, te-ts))
        return result

    return timed

3. В третьих https://github.com/rkern/line_profiler

Comments

[Михаил]

)) этот способ называется горе от ума))

[un1t]

Почему же?

[Roma Naumenko-Vahnitsky]

Хмм, не плохо возьму на заметку, спасибо!

Answer 4

[Shmele]

По мониторингу быстродействия есть хороший доклад с обзором инструментов и примерами:
https://moscowdjango.ru/meetup/13/profiling-django/

Comments

[Roma Naumenko-Vahnitsky]

Это для джанго, а у меня не джанго..
Но все-равно спасибо, может кому-то пригодится.

[Shmele]

Roma Naumenko-Vahnitsky: Вам виднее подойдёт или нет для ваших задач, но про Джангу там всего слайдов 20 из 130 :) И, в основном, это прикручивание описанных "общепитоновских" инструментов к Джанге.
Всё остальное - применимо для чистого питона.

[Roma Naumenko-Vahnitsky]

Shmele: угу, понятно!