Возможен ли запуск character ai на домашнем пк?

Question

[gyrooooo]

Условно у меня есть желание сделать и запустить ИИ подобный character ai на своём пк(относительно мощном),возможно ли это , то-есть прописать условного персонажа его характер возраст внешность и т.д. и сделать память больше чем в character ai чтобы персонаж не забывал что говорил через пару сообщений

Answer 1

[rPman]

Llama31-8b можно запустить на видеокарте nvidia 12..16gb с отличной скоростью, контекстное окно 128к токенов, характер и прочее можешь описать в стартовом промпте. На cpu так же работает с помощью llama.cpp.

Такую сеть можно за разумные деньги тюнить под свои задачи.

Есть ещё китайская qwen, у нее неплохие характеристики.

Старшие версии llama31-70b и qwen близки а топу, но требуют много оперативной памяти, с использованием квантизации 64..96гб ram на скорости 1-2 токена в секунду можно решить сложные интеллектуальные задачи, например адекватно допридумывать рассказы...

Comments

[theurs]

8b слишком тупая. 70б лучше но не сильно, к топам она приближается разве что в оторванных от реальности синтетических тестах, и на обычном компе нормально работать не будет.

[rPman]

llama3 70b у меня единственная из открытых, в моих тестах на программирование стала отвечать как gpt4, но там проблема с неточностью инструкций, поэтому как раз синтетика у нее хуже.