Как заставить Deepseek r1 (8b,14b) отвечать по-русски?

Alfa_Torgovec, лучший способ проверить самому

Повторюсь, квантизация малых моделей 8b/14b/32b (особенно MOE) сильно ухудшают и без того глупые модели, поэтому ниже 8bit квантизации я не рекомендую

При использовании только GPU настоятельно рекомендую не пользоваться llama.cpp (например olama) а использовать проект vllm, это и библиотека и api совместимый с openai (его можно прописать в плагинах к ide например или использовать в своих скриптах),..

Установка в python venv
python -m venv /путь/для/хранения/python/окружения
Дальше можно либо activate /путь/для/хранения/python/окружения и в терминале дальше будет эта песочница, либо прописывать до python и pip полный путь (внутри этого каталога будут подкаталоги bin а в windows - scripts)
pip install vllm
Дальше я использую команду

~/.python.env/vllm/bin/python3 -m vllm.entrypoints.openai.api_server --api-key XXX_ПридумайТокен_XXX --port 12345 --model gpt-3.5-turbo-instruct --tensor-parallel-size 2 --max-model-len 31088 --enforce-eager --quantization fp8

модели оно будет подгружать из текущего каталога (модель - каталог) в формате .safetensor прямо как они лежат на huggingface, у нее есть свои cli для загрузки моделей или пользуйся git-lfs для клонирования многогигабайтовых репозитариев (оно глючное и требует много cpu ram)

--model gpt-3.5-turbo-instruct - это автозагрузка модели заранее (тут имя подкаталога) если указать в api вызове модель, она будет загружена
Я встретил странный баг, некоторые модели не хотят загружаться по своему имени, и я создавал символическую ссылку gpt-3.5-turbo-instruct на них (конкретно в моем примере DeepSeek-R1-Distill-Qwen-14B), все работает.

Можно ли запретить пользователю mysql просмотр определенных колонок таблицы?

Я работал с базой, на которой были отозваны права на многие поля и таблицы, правда версия mysql очень старая (лет 8 назад было дело а сервер на centos еще старее) так вот запросы, с несколькими inner join могли не работать (ошибка типа что нет прав), даже если я по полям расписываю и никаких звездочек, доходило до абсурда, я выгружал данные к себе локально, и уже у себя делал тот же самый запрос

Как организовать автодеплой на сервер в закрытом контуре?

Я очень надеюсь что автор не будет следовать рекомендациям пробиваться через закрытый контур.

ЛЮБОЙ механизм, обходящий ограничения контура - это серьезное нарушение безопасности, и рекомендации вставить бекдор в виде git или любой другой системы автообновления кода - это прямая дорога стать ответственным и крайним при любых проблемах в будущем.

без подключения людей имеющих доступ к закрытому контуру.

Закрытый контур по определению предполагает запрет автообновлений. Обновления должны проходить ревью и уже последующее принятие этими людьми, которых ты не желаешь подключать

Почему на одном пк sql запрос выполняется, а на другом нет?

проверьте характеристики vps (объем оперативной памяти, ssd/hdd диск и т.п.) и вашей машины с виртуалкой (особенно важно понимать, что даже если вы выделите виртуальной машине небольшое количество оперативной памяти, без специфических настроек, файлы будут кешироваться с использованием оперативной памтяи хост машины (точнее будут двойное кеширование).

Индексы работают нормально, только если есть достаточное количество оперативной памяти для них, а для базы в 500гб эти индексы могут быть гигабайты.

hdd при случайном доступе (особенно когда нехватает памяти) работает на пару порядков медленнее чем самый дешевый ssd, опуская скорость чтения/записи до нескольких мегабайт в секунду, против ssd - который легко может выдать сотни мегабайт в секунду чтения (а nvme гигабайты в секунду), да и запись, даже в худшем - будет десятки мегабайт в секунду

Как посчитать расстояние между точками маршрута для автомобильного маршрута используя API Яндекс карт на php?

alexalexes, так api есть, только за деньги, автору это 'не нравится'

Какой использовать стек для написания онлайн сервиса управления производством?

Александр,

не видел ничего лучшего, чем когда то был делфи для этой задачи. Два тычка и у вас готовая форма с коннектом к базе.

WinForms и его идеологический потомок WPF для microsoft windows .net, на столько легкого способа разработать прилоежние баз данных я не видел ни до ни после (WPF у меня глючил, мне не понравилось что прямо на пустом месте, при создания приложения примера по гайду от майкрософта, я бы предлагал WinForms но его почему то многие считают жутким легаси и недостойным к использованию)

Как можно сделать всплывание окошка «отправить друзьям» в тг mini apps?

это функционал приложения city holder game я хз что это за приложение и что это за друзья в нем и скорее всего 'нажимаешь друзьям' это тоже внутри этого приложения функционал

виртуальная ссылка содержит идентификатор, по которому телеграм бот будет определять кто кому или что нужно делать, это определяется в момент создания этой ссылки

Как выполнить любую функцию php и всегда получить true?

AUser0, ой, ведь знал же про этот момент, и даже тест провел, но сюда написал неправильный. Конечно же нужно порядок правильный
(что_то||1)

Как можно сделать всплывание окошка «отправить друзьям» в тг mini apps?

разве в ТГ сделали функционал друзей?
а самому реализовать не получится - список контактов не должен быть доступен никому

если же друзья - это внутренний функционал твоего бота, то какие проблемы?

Как через телеграм бот отправить .ovpn файл, чтобы он открылся на телефоне?

какой у тебя получается имя файла? generated_file_path
проверь, ты получаешь от бота именно то что ожидаешь? может там какие-то ошибки?

Активируются ли промокоды для приложений google play от российских разработчиков на нероссийские аккаунты google play сейчас?

Там же любые денежные перемещения ограничены одной страной, скорее всего это тебе нужно менять локацию аккаунта

Как организовать одностороннюю синхронизацию между двумя БД?

Dinxor, обновления тогда не поймать (особенно больно будет когда эти обновления будут сделаны вручную в таблице)

Что значит дешевле? У тебя ОДНА таблица, триггер ты напишешь за 10 минут

пример проблем которые ты получишь с новым столбцом - в приложении стоит запрос select * from table и количество колонок критично (например структура в памяти определенного размера), при попытке записать лишнюю колонку будет выход за границы, для языков типа C/C++ например это будет фатально (пример высосан из пальца, само собой такой проблемы может не быть)

Как организовать одностороннюю синхронизацию между двумя БД?

Dinxor, так саму таблицу ты не тронешь, речь о создании НОВЫХ таблиц и триггеров на их пополнение

Как организовать одностороннюю синхронизацию между двумя БД?

Тебе нужно где то сохранять вставляемые данные, можно и в файле в том же триггере, но помним про транзакции и их отмену нужно будет мониторить самому.

Про медленное удаление данных, их можно не удалять, завести фифо буфер прямо в таблице и писать по кругу, сохраняя метки начала и конца

Ещё вариант, завести две таблицы, запись в которые переключать по очереди, в момент передачи данных т.е. передать данные целиком из всей текущей таблицы и после делать ее truncate, что должно быть очень быстро, само собой где то нужно хранить, какая из таблицы текущая для триггера

Твоя задача очень специфична, в готовом виде маловероятна

Какой использовать стек для написания онлайн сервиса управления производством?

aleks-th, они были работниками в бюджетной конторе где платили смешную зарплату, но получилось выбить дополнительные деньги именно на разработку, пилили это дело несколько месяцев (больше копались с бумажными архивами, и тюнили приказную систему), а когда пришел момент оплаты, часть денег была 'украдена' вышестоящим начальством, команда логично развалилась и на поддержке на сколько я знаю осталось пара тройка человек (там чехарда с уходами и новыми людьми тянулась годами) лет 10 проект жил потом его попытались на что то заменить (так как разрабатывать было некому),.. в общем на сколько я знаю там фигня кое как написанная теперь.

Так что суммы что там были были близки к настоящей себестоимости разработки проекта (не сверх сложный он был), но такую сумму вы никогда не увидите у специализированных компаний, которые жируют на госзаказах в стране (по той же причине что и производство 10х к цене и банально подшипников в стране не купишь по ценам сравнимым с китайцами).

Почему у меня не копятся токены BitTorrent?

может должны считаться только пользователи, установившие себе его кошелек? т.е. нужно использовать правильный клиент.

Какой использовать стек для написания онлайн сервиса управления производством?

aleks-th, еще про приказную систему забыл... помимо людей и вещей есть еще документооборот, каждая бумажка ходит по своей дорожке, подписать там, утвердить здесь, проконтролировать вот этим и тем.. и все это дублируется с реальными бумажками

И да, про деньги, 'внутри одной госкомпании' команда из 6 человек запилила в 2011 кажется за треть ляма рублей то что внешняя предлагает за 5 лямов. Так что да, нормальную команду нужно собирать, но оплачивать ее на постоянке, когда она год будет сидеть без работы мелкие компании не потянут.

Но напомню, бывают просто простые задачи, у компании тупо нет денег на разработку чего то серьезного, и могут довольствоваться малым, малыми шажками... запилить четыре пять формочек, в одной детальку регистрируют, в другой подтверждают приемку на месте и отправку дальше, в третьем регистрируют инциденты, типа станок детальку зажевал.... с авторизацией basic auth с заведением логинов вручную в консоли админом,.. сначала текстом, без адекватных справочников, через пол годика информации и хотелок накапливается, данные сводятся к чему то более строгому, пути детали и роли пользователей, аналитика и отчеты и т.п.

Какой использовать стек для написания онлайн сервиса управления производством?

aleks-th,

Прям за пару тройку вечеров ?

тз

Внесения данных о производимом оборудовании, у каждого оборудовании детали. Каждая деталь изготавливается отдельно, необходимо отслеживать на каком этапе производства деталь, в каком цеху и тд.

я прекрасно понимаю что ERP системы это не то что описал автор вопроса, а так же прекрасно понимаю что компании в конце концов нужна ERP система, поэтому повторюсь, начинать нужно с аналитики и построения ТЗ

Мое доменное имя исчезло у моего провайдера домена. Виноват ли в этом провайдер?

при регистрации на reg.ru вы должны были указывать свои настоящие данные... требуйте возврата доступа по паспорту

вы получаете сообщения от reg.ru по sms? вот он ваш способ возврата доступа к сервису, в России номер телефона стал негласным документом удостоверяющим личность.

Полная разница sudo su, sudo -i, sudo -s?

Михаил Р., продолжай править ;) все еще ошибка, sudo su -i
p.s. это потому что я думал что там должен быть sudo -i а ты отвечал sudo su - вот у тебя и смешалось