@d00m911

Возможно ли выгрузить часть слоёв в VRAM видеокарты AMD, если основная — NVIDIA?

Имеются две видеокарты - AMD и NVIDIA. Хотелось бы узнать, существует ли теоретическая возможность выгрузить часть слоёв в память видеокарты, а не в RAM?
Если это невозможно в Windows, может быть, есть способы сделать это в Linux-подобных системах? Заранее спасибо за ответы.
  • Вопрос задан
  • 81 просмотр
Пригласить эксперта
Ответы на вопрос 1
@rPman
Да, но поддержку пилить придется самому.

Например llama.cpp есть поддержка нескольких видеокарт, на сколько я знаю есть возможность с разными вендорами через opencl.

Там есть библиотека ggml, чтобы свои сети пилить и даже конвертировать их их pytorch
Ответ написан
Комментировать
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы