LLM для школьных экспериментов. Существует ли что то подходящее?

Question

[MAXH0]

Существует ли не особо интеллектуальное, и как следствие не требовательное к ресурсам решение LLM, которое позволит продемонстрировать школьникам LLM не как сервис в виде черного ящика, а нечто, что можно настраивать и ковырять? Желательно локально. У меня аллергия на облака

Answer 1

[Алексей Уколов]

Ollama + Open Web UI позволят подключить и понастраивать модели. На а какая заведётся и будет достаточно шустро работать на вашем железе нужно подбирать экспериментально, начать можно с DeepSeek с небольшим количеством параметров.

Но если под «настраивать и ковырять» вы понимаете что-то более низкоуровневое, чем промпт-инжиниринг, то это не подойдёт.

Comments

[historydev]

Полагаю имелось ввиду низкоуровневое, ведь промпты можно в любой "настраивать".

Answer 2

[GavriKos]

https://huggingface.co/models?sort=trending

Идете вот сюда, и выбираете. Самое к чему требовательна модель просто для запросов - оператива (в идеале кнчн видеопамять, но можно и в обычной). Приблизительно - размер модели - это и есть требование к оперативе. Для страховки - умножить на 1.2. Т.е. если модель весит 10 гигов - то вам надо точно 12 гигов оперативы или видеопамяти. Тут еще зависит от кучи вещей (можно ли размазать в видео и оперативу, квантинизация, вот это все).
И важно - чисто для запросов есть упрощенная версия моделей (не помню как называется, там что то из разряда уже скомпиленных весов).

А вот если хотите обучать - то вам нужна сырая модель, очень много времени и хорошее железо. Никаких ноутов, маков. Только нормальный писюк, видяха хорошая чтобы молотить флоты, и запас времени.

Я у себя запускал mistral например на 32 гигах оперативы. Можете начать с нее.

Answer 3

[Ronaldo]

Качайте и ставьте на компьютер LM Studio. В нем есть выбор разнообразных локальных LLM моделей, которые программа скачает самостоятельно. Выбирать стоит те модели размер которых попадает в 90% от размера вашей видеопамяти. Расчет на CPU идет раз в 20 медленней. Например Модель gemma-3-12b относительно "умна" и работает с русским.