Как создать свой чат бот(дообучить модель) на базе собственных знаний(ссылок на ресурсы)?

Question

[roseandhabr]

Я далека от этих вопросов, но точно знаю что можно дообучать различные существующие модели нейросетей(chatgpt и др), а также если установить такие модели локально они будут работать без ограничений цензур и прочего(ничего незаконного не планируется, просто действительно чат боты на большинство адекватных вопросов упираются и не отвечают и промпты не всегда помогают), так вот, я знаю что из можно дообучить на основе каких-то датасетов(понятия не имею где их брать), а также брать за основу знания взятые с целых ресурсов просто указав список ссылок на них. не подскажите ли действительно ли это возможно, и если да, то как лучше всего это сделать? и все это естественно для приватного а не публичного или коммерческого использования.

Comments

[d'Ivan]

на базе собственных знаний(ссылок на ресурсы)

и в чём тут знания?

Просто приведи пример или два того что требуется искать.

Answer 1

[v1st]

Предложил бы посмотреть в сторону технологии RAG. В двух словах - берём общецелевую LLM, например доступную llama, загружаем документы, содержащие ответы на потенциальные вопросы, в векторную бд, обучаем модель отвечать с использованием контекста из векторной бд. Отдельно обучать модель тоже можно, но получится намного дороже. Пример такого подхода для русскоязычных документов - https://github.com/mpashkovskiy/ru-rag.
Nvidia недавно выпустила такой комплект для своих карт RTX серий 30 и 40 под Windows 11 - https://github.com/NVIDIA/trt-llm-rag-windowsu

Answer 2

[rPman]

первые же запросы с гугла (с поиском по хабру)
https://habr.com/ru/articles/755114/
https://habr.com/ru/companies/neoflex/articles/722584/
https://habr.com/ru/companies/wunderfund/articles/...
https://habr.com/ru/articles/757086/

Ключевые слова finetuning, peft модели llama, mixtral, google gemma (вышла буквально на днях, выглядит неожиданно хорошо для 2b/7b)
Напрямую обучать модель новым знаниям сложно, и дорого а датасет это ты сам собираешь. Есть лайфхак - какими либо способами, на основании контекста формируют запрос в классическую базу данных (например реляционную) делают поиск, а результат вставляют в окно контекста (добавив сопроводительный текст, описывающий это как знания, на которые нужно опираться) и в результате модель получив эти данные, будет их использовать (это самое странное и непонятное в llm-ках). Само собой ВСЕ данные пихать в окно контекста не имеет смысла, оно маленькое а в открытых моделях еще и слабосвязное.
Гуглим llm rag, например https://habr.com/ru/companies/wunderfund/articles/...

p.s. просто и красиво не будет
Технология llm сырая, точнее в ней баг в идеологии, подразумевающий вероятностный результат, т.е. правильный с некоторой вероятностью, которая даже у топовых моделях (не доступных для дообучения обывателю) в среднем на специализированных бенчмарках - 60%-80%, а те модели что доступны, дают верные результаты с с еще меньшей вероятностью.

Настоятельно рекомендую смотреть в сторону mixtral (для людей доступны модели 8x7b, работают по скорости как 7b а по качеству как 70b), инструкций по дообучению не густо, придется прогружаться в тему, при которой таких вопросов как выше не будут возникать, но односложно ответ не дать.

Comments

[roseandhabr]

Спасибо вам большое за такой большой и развернутый ответ, большинство слов я не поняла но буду разбираться. Но все же простых решений по типу взять чат бот, скормить ему свои ссылки как источник знаний и пользоваться нет скорее всего?

[motomac]

roseandhabr, через RAG это вполне реализуемо. Например, можно воспользоваться https://github.com/langchain-ai/langchainjs и скормить ему ваши документы через loaders. Тогда LLM сможет использовать информацию из этих документов в качестве контекста.