Как заставить Deepseek r1 (8b,14b) отвечать по-русски?

Question

[Alfa_Torgovec]

Установил локально с помощью Ollama на ПК Deepseek-r1 (8b и 14b), но они не хотят общаться по-русски. Только по-английски. Системный промпт не помогает.

При самом запросе на русском, отвечает только по-английски. Если там указать «ответь по-русски», может ответит, может нет. Но потом вообще виснет всё, ответ обрывается.

Так же установлена к примеру LLAMA 3.1 — с ней все нормально.

Answer 1

[rPman]

Это фича модели, сами разработчики об этом заявляют, что более менее адекватно она будет работать только с английским и китайским.

Используй другие модели до и после, для перевода вопроса с русского на английский и обратно.

И еще момент, 8b модель это дистиляция, у них конечно получилось нечто шикарное именно дистиляцией (особенно qwen модели) но все же 8b очень слабая модель, толку от нее будет мало.

https://huggingface.co/collections/deepseek-ai/dee...

Если тебя устраивала llama3.1 8b, то попробуй ее тюн на основе deepseek r1, говорят дистилированные модели стали неожиданно лучше чем то на чем они основаны, забрав у deepseek умение рассуждать по типу o1

И еще момент, не пользуйся квантизацией для этих маленьких моделей, или хотя бы 8b, так как качество будет падать заметнее чем квантизация оригинальных больших

Ну и чем больше весов будет у модели тем лучше, говорят deepseek-r1-llama70b очень очень хороша, и требования у нее такие что взять на vast.ai машину за дешево можно ею пользоваться на 'всю катушку'

Ну и расуждающие модели очень по разному будут работать от разных промптов, а уж если будешь вмешиваться в рссуждения (условно останавливаешь периодически, и просишь эту или другую модель проверить рассуждения, подправить, вернуть первоначальный запрос и продолжить рассуждения)

DeepSeek-R1-Distill-Qwen-14B, 8b квантизация 2x16gb vram, vllm, вопрос и ответ на английском, переведено гуглом

Вопрос:

У мальчика Пети три сестры — Алина, Марина и Катя, и два брата Сергей и Михаил. Сколько братьев у Алины?

p.s. если что на такие вопросы даже старшие модели могут отвечать фигню, а gpt3.5 почти всегда отвечает бред, даже с лайфхаками

Ответ:
<think>
Хорошо, мне нужно выяснить, сколько братьев у Алины. Давайте начнем с пошагового понимания проблемы.

Во-первых, дана информация о том, что у Пети три сестры: Алина, Марина и Катя. У него также есть два брата: Сергей и Михаил. Итак, Петя — мальчик, и у него есть эти братья и сестры.

Теперь вопрос в том, сколько братьев у Алины. Алина — одна из сестер Пети, поэтому она девочка. Чтобы узнать, сколько братьев у Алины, мне нужно подумать о том, кто ее братья.

Упоминается, что у Пети два брата: Сергей и Михаил. Итак, с точки зрения Пети, у него есть два брата, кроме него самого, итого три брата, включая его самого. Но подождите, а Петя включен в список, когда мы говорим о братьях Алины?

Нет, потому что Алина — сестра Пети, и мы смотрим с точки зрения Алины. Итак, с точки зрения Алины, ее братья — это другие братья и сестры мужского пола в семье.

Учитывая, что у Пети есть два брата, Сергей и Михаил, это также будут братья Алины. Итак, у Алины есть два брата: Сергей и Михаил.

Но подождите минутку, раньше я думала включить Петю в подсчет, но теперь я его исключаю, потому что мы смотрим с точки зрения Алины. Таким образом, общее количество братьев у Алины должно быть два.

Однако иногда люди могут включать самого человека при подсчете братьев и сестер, но в этом случае, поскольку мы сосредоточены на братьях Алины, мы не включаем ее в подсчет. Она сестра, и мы ищем ее братьев.

Итак, подведем итог:

- Алина — сестра.
- У нее есть два брата: Сергей и Михаил.

Следовательно, у Алины есть два брата.
</think>

У Алины есть два брата: Сергей и Михаил.

**Пошаговое объяснение:**

1. **Определите братьев и сестер:**
- Сестры: Алина, Марина, Катя (три сестры).
- Братья: Петя, Сергей, Михаил (три брата).

2. **Определите точку зрения Алины:**
- Алина — сестра, поэтому она считает Петю, Сергея и Михаила своими братьями.

3. **Посчитайте братьев:**
- Петя — брат.
- Сергей — брат.
- Михаил — брат.
- Всего: 3 брата.

**Ответ:** У Алины три брата.

Comments

[Alfa_Torgovec]

rPman , благодарю за исчерпывающий ответ!

Проведя несколько экспериментов и наблюдая за энергопотреблением GPU убедился, что железо не тянет Deepseek-r1 (8b и 14b). RTX 3060 12 гб. Энергопотребление и температура показывают взрывной рост.

Но! LLAMA 3.1 8b при этом ничего подобного не демонстрирует, работает шикарно и полноценно, и не грузит GPU вообще (30%)

Загадка здесь в том, что Deepseek-r1 8b это и есть LLAMA 3.1 8b (я так понял, что просто обученная и с промптом think)

Данные модели установленные локально призваны выполнять большой объем предварительной работы. Далее я уже использую Клод или ГПТ за деньги разумеется)))

То есть квантизация на моем железе чтобы поставить DeepSeek-R1-Distill-Qwen-14B не поможет?
i9 13900f, RTX 3060 12gb, 64 гб озу.

[rPman]

Alfa_Torgovec, лучший способ проверить самому

Повторюсь, квантизация малых моделей 8b/14b/32b (особенно MOE) сильно ухудшают и без того глупые модели, поэтому ниже 8bit квантизации я не рекомендую

При использовании только GPU настоятельно рекомендую не пользоваться llama.cpp (например olama) а использовать проект vllm, это и библиотека и api совместимый с openai (его можно прописать в плагинах к ide например или использовать в своих скриптах),..

Установка в python venv
python -m venv /путь/для/хранения/python/окружения
Дальше можно либо activate /путь/для/хранения/python/окружения и в терминале дальше будет эта песочница, либо прописывать до python и pip полный путь (внутри этого каталога будут подкаталоги bin а в windows - scripts)
pip install vllm
Дальше я использую команду

~/.python.env/vllm/bin/python3 -m vllm.entrypoints.openai.api_server --api-key XXX_ПридумайТокен_XXX --port 12345 --model gpt-3.5-turbo-instruct --tensor-parallel-size 2 --max-model-len 31088 --enforce-eager --quantization fp8

модели оно будет подгружать из текущего каталога (модель - каталог) в формате .safetensor прямо как они лежат на huggingface, у нее есть свои cli для загрузки моделей или пользуйся git-lfs для клонирования многогигабайтовых репозитариев (оно глючное и требует много cpu ram)

--model gpt-3.5-turbo-instruct - это автозагрузка модели заранее (тут имя подкаталога) если указать в api вызове модель, она будет загружена
Я встретил странный баг, некоторые модели не хотят загружаться по своему имени, и я создавал символическую ссылку gpt-3.5-turbo-instruct на них (конкретно в моем примере DeepSeek-R1-Distill-Qwen-14B), все работает.

[Alfa_Torgovec]

rPman, спасибо за подробный ответ. Буду разбираться. Я не программист, и конечно использую именно ollama, а ваш код для меня темный лес))) Но думаю нейросети помогут с вашими инструкциями. Мне достаточно будет иметь локально только DeepSeek-R1-Distill-Qwen-14B, больше мне и не надо для текущих задач.

Последний вопрос: вот эта команда ollama run deepseek-r1:14b загрузила мне именно DeepSeek-R1-Distill-Qwen-14B? или просто DeepSeek-R1-Qwen-14B, то есть не дистиллят?

[rPman]

Alfa_Torgovec, это не код это команды в консоли вводить

вы же ollama как то установили?

[rPman]

Alfa_Torgovec, да похоже это qwen 14b так как других дистилированных deepseek с таким размером нет

[Alfa_Torgovec]

rPman, а там просто инсталляция файла, как обычно. и всё. потом я еще chatbox поставил, там все они уже автоматически появились в меню. Те модели которые скачала ollama. Ну и в чатбоксе еще по АПИ платные модели ГПТ и КЛОД также поставил, там все просто.

То есть команды консоли..ну тогда конечно разберусь.