Задать вопрос
@Uglevod

Возможен ли запуск нейросети на видеокарте для майнинга?

Возможен ли запуск нейросети на карте cmp серии ?
( под простые сетки )
Например, на такой как Nvidia cmp 50hx. ( TU102, 3584 CUDA, 10GB G6 )
Если судить по Cuda ядрам то науровне с RTX 3060 12Gb ( CUDA 3584 )
При этом есть где дешевле на 50% )
Или кто догатался тот молча закупается ) ?
  • Вопрос задан
  • 1139 просмотров
Подписаться 2 Простой 1 комментарий
Помогут разобраться в теме Все курсы
  • Яндекс Практикум
    Специалист по Data Science плюс
    17 месяцев
    Далее
  • Нетология
    Бизнес-аналитик
    7 месяцев
    Далее
  • Нетология
    Data Scientist: расширенный курс
    13 месяцев
    Далее
Пригласить эксперта
Ответы на вопрос 1
@rPman
Есть шанс нарваться на проблемы с драйверами, ограничивающими использование видеокарты, но почему бы и не попробовать?

Если есть opencl запустить то можно, с помощью llama.cpp можно запускать на любой видеокарте, причем даже если она не nvidia, и на встройках.. вопрос на сколько быстро это будет.

И только смысла в этом нет, потому как главное у видеокарты должен быть большой объем оперативной памяти... 8b модели и так слабые, они сильнее реагируют (ухудшают качество) от квантизации, поэтому из меньше 8бит не квантуют, т.е. минимум только на веса 8гб, а еще на контекст нужно несколько гигабайт.

С другой стороны, закупить несколько, весь софт для выполнения умеет распределять нагрузку по нескольким.
Ответ написан
Комментировать
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Похожие вопросы