RuntimeError CUDA out of memory. Как сделать код выполняемым для моей видеокарты?

Question

[Николай Гетманов]

Пытаюсь использовать OpenAI Jukebox, но мне видеокарта не позволяет выполнить задачу (Видеокарта, RAM 16384 мегабайта).
Полный текст ошибки:

RuntimeError: CUDA out of memory. Tried to allocate 44.00 MiB (GPU 0; 15.90 GiB total capacity; 14.80 GiB already allocated; 43.62 MiB free; 15.04 GiB reserved in total by PyTorch)

Как превратить этот код выполняемым для слабака?
Код:

model = "5b_lyrics" # or "1b_lyrics"     
hps = Hyperparams()
hps.sr = 44100
hps.n_samples = 3 if model=='5b_lyrics' else 8
hps.name = 'samples'
chunk_size = 16 if model=="5b_lyrics" else 32
max_batch_size = 3 if model=="5b_lyrics" else 16
hps.levels = 3
hps.hop_fraction = [.5,.5,.125]

vqvae, *priors = MODELS[model]
vqvae = make_vqvae(setup_hparams(vqvae, dict(sample_length = 1048576)), device)
top_prior = make_prior(setup_hparams(priors[-1], dict()), vqvae, device)

Answer 1

[deeppsycoder]

Столкнулся с подобным явлением переполнения памяти GPU. Но в моем случае это происходило не сразу, а после обработки нескольких пакетов. То есть дело оказалось не в размере входного тензора, а в том, что у меня на определённом этапе сохранялись метрики в виде скалярных тензоров, а значения из них я извлекал на CPU уже позже.