на процессоре примерно в 10 раз медленнее чем на двух nvidia 4060ti 16гб (на них порядка 20ток/сек)
export ZSH="$HOME/.oh-my-zsh"
ZSH_THEME="fletcherm"
plugins=(
git
zsh-autosuggestions
)
source $ZSH/oh-my-zsh.sh
source $ZSH_CUSTOM/plugins/zsh-autocomplete/zsh-autocomplete.plugin.zshexport ZSH="$HOME/.oh-my-zsh"
ZSH_THEME="fletcherm"
plugins=(
git
zsh-autosuggestions
)
source $ZSH/oh-my-zsh.sh
source $ZSH_CUSTOM/plugins/zsh-autocomplete/zsh-autocomplete.plugin.zsh
на другом конце есть коннектор для подключения следующей гирлянды
Может мигают не все линии гирлянды, а есть которые постоянно светятся.
так и пользуйся тогда бесплатным аналогом, к чему тогда это нытье?
мне ты приносишь вред, мое начальство не получает деньги из за таких как ты и увольняет разрабов. Если ты можешь без покупки аналогом пользоваться, вот и пользуйся значит, а результаты моего труда нечего красть
Только копирасты трясутся от ярости из за упущенной выгоды. Потому что наивно полагают что если бы не было возможности спиратить вот прямо каждый "нелегальный подльзователь" место этого купил бы их софт.
и снова повторю для тугодумов, даВинчи бесплатный! этой версии достаточно для изучения и даже работы
ncmoe выгружает 31 экспертный слой в ОЗУ, при этом все обязательные слои плюс оставшиеся экспертные идут в GPU.
Скорость генерации при небольшом контексте 30t/s, скорость чтения 400-800t/s (без понятия почему разброс такой большой, чаще всего не меньше 600t/s).
Сейчас специально сделал несколько теcтов.
Так же ради интереса попробовал Q4.
При 128к контекста пришлось выгрузить в ОЗУ 23 слоя, а не 31 как с Q6.
Протестировал маленький и средний контекст.
Результаты соответственно:
И это со включенным Vision (BF16), без него будет быстрее, так как больше слоев на GPU поместятся. Или можно Vision в ОЗУ засунуть, тогда сам Vision будет работать медленно, но если редко нужен, то нормально.
Как по мне для одной видеокарты очень достойный результат.