rPman, а там просто инсталляция файла, как обычно. и всё. потом я еще chatbox поставил, там все они уже автоматически появились в меню. Те модели которые скачала ollama. Ну и в чатбоксе еще по АПИ платные модели ГПТ и КЛОД также поставил, там все просто.
То есть команды консоли..ну тогда конечно разберусь.
rPman, спасибо за подробный ответ. Буду разбираться. Я не программист, и конечно использую именно ollama, а ваш код для меня темный лес))) Но думаю нейросети помогут с вашими инструкциями. Мне достаточно будет иметь локально только DeepSeek-R1-Distill-Qwen-14B, больше мне и не надо для текущих задач.
Последний вопрос: вот эта команда ollama run deepseek-r1:14b загрузила мне именно DeepSeek-R1-Distill-Qwen-14B? или просто DeepSeek-R1-Qwen-14B, то есть не дистиллят?
Проведя несколько экспериментов и наблюдая за энергопотреблением GPU убедился, что железо не тянет Deepseek-r1 (8b и 14b). RTX 3060 12 гб. Энергопотребление и температура показывают взрывной рост.
Но! LLAMA 3.1 8b при этом ничего подобного не демонстрирует, работает шикарно и полноценно, и не грузит GPU вообще (30%)
Загадка здесь в том, что Deepseek-r1 8b это и есть LLAMA 3.1 8b (я так понял, что просто обученная и с промптом think)
Данные модели установленные локально призваны выполнять большой объем предварительной работы. Далее я уже использую Клод или ГПТ за деньги разумеется)))
То есть квантизация на моем железе чтобы поставить DeepSeek-R1-Distill-Qwen-14B не поможет?
i9 13900f, RTX 3060 12gb, 64 гб озу.
Написано
Войдите на сайт
Чтобы задать вопрос и получить на него квалифицированный ответ.
То есть команды консоли..ну тогда конечно разберусь.