Этот вопрос закрыт для ответов, так как повторяет вопрос Компьютер с какими характеристика требуется для комфортного использования llama3.1:405b?
@Dobr

Кто-нибудь запускал llama 3.1 405b?

Приветствую! Не так давно вышла новая версия Ollama 3.1.
Кто-нибудь пробовал запускать эту модель?
Я читал system requirements, но можно ли жертвуя быстродействием экономить на ресурсах?

p.s. если что, я пока чайник в данном направлении, сильно не пинайте, нужны советы опытных людей.
  • Вопрос задан
  • 103 просмотра
Ответы на вопрос 1
@d00m911
Сэкономить на ресурсах, жертвуя быстродействием, можно: следует смотреть в сторону квантованных моделей. Квантование позволяет в разы уменьшить количество требуемых ресурсов (видеопамяти или оперативной памяти), снижая качество выдачи.

Но дома такую модель точно не запустить (если у вас дома, конечно, нет батареи хотя бы из 3090). В решении повседневных задач неплохо себя показывают модели 70b (или даже с меньшим количеством параметров - взять хотя бы Codestral 22b) особенно потому, что их гораздо легче и быстрее дообучать. 405b - мне кажется, это для компаний скорее, которые могут себе позволить купить нужное оборудование.

Нет, никто не мешает вам купить, скажем, старый сервак с 512 гб ram, но это будет работать невероятно медленно. И все равно придётся квантовать модель, и сильно)
Ответ написан
Ваш ответ на вопрос

Вопрос закрыт для ответов и комментариев

Потому что уже есть похожий вопрос.
Похожие вопросы