Какая локальная нейросеть учится на моей базе документов?

Question

[iva2000]

Можно ли на обычный компьютер Intel i7-10750H 2.60GHz 8,00 ГБ установить нейросеть, в которую загрузить набор своих документов (несколько тысяч страниц в Word и Pdf), чтобы нейросеть отвечала мне, используя данные из этой учебной базы?
Другие данные использовать не нужно, даже вредно, нужны ответы именно по загруженным материалам.
Но сообразительность и чистота языка от нейросети нужны. Также хотелось бы время от времени пополнять учебную базу.
Что из этого реально? Куда смотреть?

UPD: Если мой древний компьютер не годится, можно ли заказать услугу хостинга для моей личной нейросети, и при этом быть уверенным в конфиденциальности своих учебных данных?

Comments

[smilingcheater]

Почитайте про RAG (Retrieval-Augmented Generation). Я пробовал локально развернуть в частности privategpt и загрузить в него свои документы, но больше из любопытства, так что не могу подсказать насколько оно качественные ответы выдаёт.

[iva2000]

smilingcheater, я поражен качеством ответом deepseek, и хочу также, но по своим данным.
Читаю про RAG. Первая же статья на Хабре несколька пессемистична относительно его возможностей.

Answer 1

[Виктор Петров]

Почитайте про RAG, GPTs и векторные базы данных.
Но вообще конфиг для локальной LLM слишком слабый. Работать-то будет (скажем, ollama), но медленно, очень медленно.

Answer 2

[Refguser]

Можно ли на обычный компьютер Intel i7-10750H 2.60GHz 8,00 ГБ установить нейросеть,

Установить - можно. Сколь-нибудь эффективно работать - нет. Потому как для генеративного ИИ нужны хорошие GPU. А тут какой-то древний комп.

ЗЫ. Так точно было до появления deepseek. У него по обзорам требования поменьше, но как оно на деле...

UPD

Если мой древний компьютер не годится, можно ли заказать услугу хостинга для моей личной нейросети, и при этом быть уверенным в конфиденциальности своих учебных данных?

Да можно. Например у immers.cloud даже есть разные готовые конфиги для нейронок (правда, эти готовые конфиги для графики). Причем там можно арендовать почасово (но если нужно сохранять данные между сеансами, то нужно правильно бекапить. Читайте хелпы)

Answer 3

[mayton2019]

Я думаю можно. Но действительно ли вам нужна нейросеть? Может Elastic Search или Sphinx
закроют все потребности?

А нейросети обычно выдают не точные а вероятностные ответы. И если с текстом еще хорошо
то с цифрами там могут быть сильные неточности. Поэтому как бухгалтерия это точно не пройдет.

Comments

[iva2000]

Мне очень понравилось как работает Deepseek по одному загружаемому документу.
Я вижу, что даже перестроить табличку вызывает у Deepseek затруднения, где-то да лажает. Но мне не это нужно, нужно отвечать на мои текстовые вопросы. Это Deepseek делает очень хорошо.
Хочу так же, но по большой папке документов. Это был бы прорыв в моей работе.

[mayton2019]

iva2000, а можешь привести пример вопроса?