Где скачать файл «YandexGPT-5-Lite-8B-instruct-Q4_K_M.gguf»?

Question

[Олег Медведев]

Пытаюсь установить локально yandex/YandexGPT-5-Lite-8B-instruct-GGUF.
Все делаю по инструкции:

https://huggingface.co/yandex/YandexGPT-5-Lite-8B-instruct-GGUF

Сама последовательность выглядит так:

git clone https://github.com/ggml-org/llama.cpp.git
cd llama.cpp
cmake -B build
cmake --build build --config Release
cd ..

На этом этапе все ок
Проблема с запуском сервера:

llama.cpp/build/bin/llama-server -m YandexGPT-5-Lite-8B-instruct-Q4_K_M.gguf -c 32768

Я нахожусь в папке llama.cpp
Ошибка при запуске сервера:

llama.cpp/build/bin/llama-server : Имя "llama.cpp/build/bin/llama-server" не распознано как имя командлета, функции, файла сценария или выполняемой
 программы. Проверьте правильность написания имени, а также наличие и правильность пути, после чего повторите попытку.
строка:1 знак:1
+ llama.cpp/build/bin/llama-server -m YandexGPT-5-Lite-8B-instruct-Q4_K ...
+ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
    + CategoryInfo          : ObjectNotFound: (llama.cpp/build/bin/llama-server:String) [], CommandNotFoundException
    + FullyQualifiedErrorId : CommandNotFoundException

Изменил команду запуска сервера:

.\build\bin\Release\llama-server.exe `
 -m "YandexGPT-5-Lite-8B-instruct-Q4_K_M.gguf" `
 -c 32768 `
 -t 4

Не находит model 'YandexGPT-5-Lite-8B-instruct-Q4_K_M.gguf':

build: 6303 (5a0e3ef6) with MSVC 19.38.33145.0 for x64
system info: n_threads = 4, n_threads_batch = 4, total_threads = 8

system_info: n_threads = 4 (n_threads_batch = 4) / 8 | CPU : SSE3 = 1 | SSSE3 = 1 | AVX = 1 | AVX2 = 1 | F16C = 1 | FMA = 1 | LLAMAFILE = 1 | OPENMP = 1 | REPACK = 1 |

main: binding port with default address family
main: HTTP server is listening, hostname: 127.0.0.1, port: 8080, http threads: 7
main: loading model
srv    load_model: loading model 'YandexGPT-5-Lite-8B-instruct-Q4_K_M.gguf'
gguf_init_from_file: failed to open GGUF file 'YandexGPT-5-Lite-8B-instruct-Q4_K_M.gguf'
llama_model_load: error loading model: llama_model_loader: failed to load model from YandexGPT-5-Lite-8B-instruct-Q4_K_M.gguf
llama_model_load_from_file_impl: failed to load model
common_init_from_params: failed to load model 'YandexGPT-5-Lite-8B-instruct-Q4_K_M.gguf'
srv    load_model: failed to load model, 'YandexGPT-5-Lite-8B-instruct-Q4_K_M.gguf'
srv   operator (): operator (): cleaning up before exit...
main: exiting due to model loading error

Где можно скачать файл "YandexGPT-5-Lite-8B-instruct-Q4_K_M.gguf"?
Я думал, что он автоматом грузится из реп https://github.com/ggml-org/llama.cpp.git

Answer 1

[GavriKos]

Ну буквально вот по ссылке с вашей же инструкцией и скачать - https://huggingface.co/yandex/YandexGPT-5-Lite-8B-...

Там вверху кнопка files

Answer 2

[rPman]

по ссылке, которую вы же сначала привели https://huggingface.co/yandex/YandexGPT-5-Lite-8B-... а точнее там вкладка files and versions лежит YandexGPT-5-Lite-8B-instruct-Q4_K_M.gguf там справа кнопка скачать