@Uglevod

Возможен ли запуск нейросети на видеокарте для майнинга?

Возможен ли запуск нейросети на карте cmp серии ?
( под простые сетки )
Например, на такой как Nvidia cmp 50hx. ( TU102, 3584 CUDA, 10GB G6 )
Если судить по Cuda ядрам то науровне с RTX 3060 12Gb ( CUDA 3584 )
При этом есть где дешевле на 50% )
Или кто догатался тот молча закупается ) ?
  • Вопрос задан
  • 243 просмотра
Пригласить эксперта
Ответы на вопрос 1
@rPman
Есть шанс нарваться на проблемы с драйверами, ограничивающими использование видеокарты, но почему бы и не попробовать?

Если есть opencl запустить то можно, с помощью llama.cpp можно запускать на любой видеокарте, причем даже если она не nvidia, и на встройках.. вопрос на сколько быстро это будет.

И только смысла в этом нет, потому как главное у видеокарты должен быть большой объем оперативной памяти... 8b модели и так слабые, они сильнее реагируют (ухудшают качество) от квантизации, поэтому из меньше 8бит не квантуют, т.е. минимум только на веса 8гб, а еще на контекст нужно несколько гигабайт.

С другой стороны, закупить несколько, весь софт для выполнения умеет распределять нагрузку по нескольким.
Ответ написан
Комментировать
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы