Чем занята память GPU и как её освободить?

Question

[Сергей Соколов]

Почти вся память видеокарты используется, при отсутствии процессов.
Работаю с Jupyter Notebook, kernel не перезапускал пока.

nvidia-smi показывает Memory usage: 8001MiB / 8118MiB

Обучение модели вылетает с ошибкой нехватки памяти.

Чем забита память и как её освободить?

docker run --gpus all --rm nvidia/cuda nvidia-smi
Sat Feb 22 11:19:19 2020       
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 440.59       Driver Version: 440.59       CUDA Version: 10.2     |
|-------------------------------+----------------------+----------------------+
| GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
|===============================+======================+======================|
|   0  GeForce GTX 1080    Off  | 00000000:09:00.0 Off |                  N/A |
|  0%   47C    P2    41W / 200W |   8001MiB /  8118MiB |      0%      Default |
+-------------------------------+----------------------+----------------------+
                                                                               
+-----------------------------------------------------------------------------+
| Processes:                                                       GPU Memory |
|  GPU       PID   Type   Process name                             Usage      |
|=============================================================================|
+-----------------------------------------------------------------------------+

Answer 1

[Сергей Соколов]

Перезапуск kernel моего Jupyter Notebook освободил всю GPU память.