@Kolya_Get
Интересуюсь вёрсткой, созданием игр.

RuntimeError CUDA out of memory. Как сделать код выполняемым для моей видеокарты?

Пытаюсь использовать OpenAI Jukebox, но мне видеокарта не позволяет выполнить задачу (Видеокарта, RAM 16384 мегабайта).
Полный текст ошибки:

RuntimeError: CUDA out of memory. Tried to allocate 44.00 MiB (GPU 0; 15.90 GiB total capacity; 14.80 GiB already allocated; 43.62 MiB free; 15.04 GiB reserved in total by PyTorch)

Как превратить этот код выполняемым для слабака?
Код:
model = "5b_lyrics" # or "1b_lyrics"     
hps = Hyperparams()
hps.sr = 44100
hps.n_samples = 3 if model=='5b_lyrics' else 8
hps.name = 'samples'
chunk_size = 16 if model=="5b_lyrics" else 32
max_batch_size = 3 if model=="5b_lyrics" else 16
hps.levels = 3
hps.hop_fraction = [.5,.5,.125]

vqvae, *priors = MODELS[model]
vqvae = make_vqvae(setup_hparams(vqvae, dict(sample_length = 1048576)), device)
top_prior = make_prior(setup_hparams(priors[-1], dict()), vqvae, device)
  • Вопрос задан
  • 110 просмотров
Пригласить эксперта
Ответы на вопрос 1
deeppsycoder
@deeppsycoder
клинический психолог
Столкнулся с подобным явлением переполнения памяти GPU. Но в моем случае это происходило не сразу, а после обработки нескольких пакетов. То есть дело оказалось не в размере входного тензора, а в том, что у меня на определённом этапе сохранялись метрики в виде скалярных тензоров, а значения из них я извлекал на CPU уже позже.
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы