Возможен ли запуск нейросети на видеокарте для майнинга?

Question

[Uglevod]

Возможен ли запуск нейросети на карте cmp серии ?
( под простые сетки )
Например, на такой как Nvidia cmp 50hx. ( TU102, 3584 CUDA, 10GB G6 )
Если судить по Cuda ядрам то науровне с RTX 3060 12Gb ( CUDA 3584 )
При этом есть где дешевле на 50% )
Или кто догатался тот молча закупается ) ?

Comments

[Wexter]

Когда эти карты появились была информация что на них обрезана шина PCIe, для майнинга это не критично, а вот для других задач вполне критично

Answer 1

[rPman]

Есть шанс нарваться на проблемы с драйверами, ограничивающими использование видеокарты, но почему бы и не попробовать?

Если есть opencl запустить то можно, с помощью llama.cpp можно запускать на любой видеокарте, причем даже если она не nvidia, и на встройках.. вопрос на сколько быстро это будет.

И только смысла в этом нет, потому как главное у видеокарты должен быть большой объем оперативной памяти... 8b модели и так слабые, они сильнее реагируют (ухудшают качество) от квантизации, поэтому из меньше 8бит не квантуют, т.е. минимум только на веса 8гб, а еще на контекст нужно несколько гигабайт.

С другой стороны, закупить несколько, весь софт для выполнения умеет распределять нагрузку по нескольким.