С помощью каких инструментов можно запускать локально под Windows большие языковые модели?

Question

[Vindicar]

Ищу инструмент, с установкой которого мог бы справиться пользователь без навыков программирования.
Например, GPT4All - хороший кандидат, но на него стабильно агрится антивирус. Причем не первый год, судя по issues на гитхабе.
Нужен именно инструмент, работающий локально, а не завязанный на OpenAI.

Answer 1

[rPman]

gpt4all это запускалка и менеджер моделей.
Локально, на машинах без gpu или со слабыми, объем памяти которых недостаточен, используют ggerganov llama.cpp, который уже стал мощным монстром с собственным http api сервером. Используй его напрямую.