Возможно ли выгрузить часть слоёв в VRAM видеокарты AMD, если основная — NVIDIA?

Question

[d00m911]

Имеются две видеокарты - AMD и NVIDIA. Хотелось бы узнать, существует ли теоретическая возможность выгрузить часть слоёв в память видеокарты, а не в RAM?
Если это невозможно в Windows, может быть, есть способы сделать это в Linux-подобных системах? Заранее спасибо за ответы.

Comments

[Wexter]

а зачем?

[d00m911]

Wexter, потому что VRAM намного быстрее RAM, и неплохо было бы если не использовать вместе два разных gpu (что сложно по объективным причинам), то хотя бы просто расширять память видеоадаптера за счёт памяти другого

[Wexter]

d00m911, осталось дождаться когда NVIDIA и AMD научатся между собой данные гонять в обход RAM и наступит счастье

[kamenyuga]

На практике берут, например, линукс, тензорфлоу и несколько одинаковых видеокарт нвидиа, а затем распределяют модель по ним. Руками задают, какие слои куда помещать. Конечно, для этого модель должна быть реализована/сконверитрована в тензорфлоу/керас. И надо еще код руками писать, скачать все готовое из интернетов вряд ли получится. У кого-то работает, у кого-то нет, зависит от версии тф и конкретных багов в ней.

[d00m911]

Wexter, а я думал, что Vulkan может объединять устройства в пул и использовать всю видеопамять как единый буфер без оперативы

Answer 1

[rPman]

Да, но поддержку пилить придется самому.

Например llama.cpp есть поддержка нескольких видеокарт, на сколько я знаю есть возможность с разными вендорами через opencl.

Там есть библиотека ggml, чтобы свои сети пилить и даже конвертировать их их pytorch