Задать вопрос
Vindicar
@Vindicar
RTFM!

С помощью каких инструментов можно запускать локально под Windows большие языковые модели?

Ищу инструмент, с установкой которого мог бы справиться пользователь без навыков программирования.
Например, GPT4All - хороший кандидат, но на него стабильно агрится антивирус. Причем не первый год, судя по issues на гитхабе.
Нужен именно инструмент, работающий локально, а не завязанный на OpenAI.
  • Вопрос задан
  • 107 просмотров
Подписаться 1 Простой Комментировать
Пригласить эксперта
Ответы на вопрос 1
@rPman
gpt4all это запускалка и менеджер моделей.
Локально, на машинах без gpu или со слабыми, объем памяти которых недостаточен, используют ggerganov llama.cpp, который уже стал мощным монстром с собственным http api сервером. Используй его напрямую.
Ответ написан
Комментировать
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Похожие вопросы