Как протестировать загрузку CPU, Memory, время выполнения при запуске программы на Python?

Question

[Denis]

Есть питоновский файл. Это программа для фильтрации фильмов. Нужно протестировать эту программу.
Значения, которые нужно узнать:

1) Загрузка CPU %
2) Memory
3) Время выполнения

Время выполнения программы можно найти таким образом:

import time
start_time = time.time()
print("--- %s seconds ---" % (time.time() - start_time))

Но как получить информацию о нагрузке на процессор и память?

Answer 1

[Александр Карабанов]

A high-precision CPU and memory profiler for Python

Comments

[Denis]

используя python3 -m scalene get-movies.py

получается результат в виде большой таблицы со многими показателями.
Как можно получить результат в виде CPU - 18%, Memory - 12 MB, Time - 30 seconds?

[Александр Карабанов]

Как можно получить результат в виде CPU - 18%, Memory - 12 MB, Time - 30 seconds

Хм... Но именно это и делает профилировщик. Как иначе можно вывести эту информацию?

В таблице указано какая строка сколько CPU израсходовала.

Если передать путь до библиотеки libscalene.so и присвоить переменной окружения PYTHONMALLOC значение malloc, то так же будет выведено количество потреблённой памяти.

Пример:

LD_PRELOAD=/usr/local/lib/python3.7/dist-packages/scalene/libscalene.so PYTHONMALLOC=malloc  python3 -m scalene test.py

Результат:

Memory usage: ▁▁▁▁▁▁▁▁▁▁▁▁▁▁▁▁▁▁▁▁▁▁▁▁▁▁▁ (max:   0.00MB, growth rate:   0%)                                                     
                                                                     test.py: % of time = 100.00% out of   0.77s.                                                                     
       ╷       ╷       ╷       ╷        ╷       ╷               ╷       ╷                                                                                                             
  Line │Time   │–––––– │–––––– │Memory  │–––––– │–––––––––––    │Copy   │                                                                                                             
       │Python │native │system │Python  │avg    │timeline/%     │(MB/s) │test.py                                                                                                      
╺━━━━━━┿━━━━━━━┿━━━━━━━┿━━━━━━━┿━━━━━━━━┿━━━━━━━┿━━━━━━━━━━━━━━━┿━━━━━━━┿━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━╸
     1 │       │       │       │        │       │               │       │#!/usr/bin/env python3                                                                                       
     2 │       │       │       │        │       │               │       │                                                                                                             
     3 │       │       │       │        │       │               │       │from datetime import date                                                                                    
     4 │       │       │       │        │       │               │       │                                                                                                             
     5 │       │       │       │        │       │               │       │today = date.today()                                                                                         
     6 │       │       │       │        │       │               │       │print("Today's date:", today)                                                                                
     7 │       │       │       │        │       │               │       │                                                                                                             
     8 │       │       │       │        │       │               │       │dates = []                                                                                                   
     9 │       │       │       │        │       │               │       │                                                                                                             
    10 │    3% │       │   1%  │        │       │               │       │for i in range(100000):                                                                                      
    11 │   42% │       │   6%  │        │   10M │▁▁▁▁▁▁▁▁▁  32% │       │  dates.append(date.today())                                                                                 
    12 │       │       │       │        │       │               │       │                                                                                                             
    13 │   21% │       │  27%  │        │   21M │▁▁▁▁▁▁▁▁▁  68% │    40 │print(dates)                                                                                                 
    14 │       │       │       │        │       │               │       │print("\n")                                                                                                  
    15 │       │       │       │        │       │               │       │                                                                                                             
       ╵       ╵       ╵       ╵        ╵       ╵               ╵       ╵                                                                                                             
Top average memory consumption, by line:
(1)    13:    21 MB                                                                                                                                                                    
(2)    11:    10 MB

В README, в частности написано, что поддерживается вывод в виде JSON из которого можно получить более подробные значения.

Если воспользоваться флагом --reduced-profile, то будут выведены только ресурсоёмкие строки.

Помимо этого есть декоратор @profile который позволяет профилировать конкретную функцию.