Существует ли аналог GPTs?

Question

[Павел Перков]

Существуют ли на данный момент аналог механизма от openAI который позволяет так же загружать свои документы в базу знаний нейросети и настраивать ее поведение (сотрудник поддержки, оператор, бухгалтер)

Пытался найти что либо по локальным LLM вроде методов ROG, finetuning но не нашел комплексных или полных инструментов для этого дела

Comments

[Everything_is_not_so_bad]

который позволяет так же загружать свои документы в базу знаний нейросети и настраивать ее поведение (сотрудник поддержки, оператор, бухгалтер)

На данный день это дорогое удовольствие. А они есть, эти документы? Десяток или больше? В каком формате?

[mayton2019]

Во многих технических заданиях на LLM никто никогда не ставит acceptance criteria.
Это означает что любой бредогенератор наподобие Марковской Сети тоже подходит
под данный топик.

Но нам здесь всем очевидно что между генератором бреда и ChatGPT все таки сущесвтует
разница.

И соотвественно возникает следующий вопрос, а можем ли мы написать такие SR, при
которых все таки для между генератором бреда и LLM которая обучена на дешевом процессоре
и малом датасете все таки сможем провести границу?

[Павел Перков]

Everything_is_not_so_bad, база зананий по продукту, около 1000 страниц, 8 документов

[Everything_is_not_so_bad]

Павел Перков,
Это типа брошюр в формате PDF?
А как изложен обучающий материал в документах? Наподобие инструкций для действий как действовать в каждом случае? Или типа номенклатуры источников данных? Или в виде таблиц или как-то по-другому?

аналог механизма от openAI который позволяет так же загружать свои документы в базу знаний нейросети

Интересно что за это механизм от openAI. Он рабочий?

Answer 1

[Alex G.]

Есть языковые модели доступные для установки. Но они все будут требовать обучения, а так же они будут очень требовательны в качестве железа.
Локальные GPT нейронный сети — устанавливаем на до...

Answer 2

[Vindicar]

Не, ну ты можешь поиграться с AnythingLLM для реализации RAG и каким-нибудь ПО для собственно запуска языковой модели (Jan или что-нибудь ещё на базе Ollama).
Но сразу скажу, у меня не вышло добиться толку.

Answer 3

[rPman]

Мне кажется рановато искать ГОТОВЫЕ решения В ОТКРЫТОМ доступе на эту тему. Народ только только пилит все это.

И да, открытые и доступные llm-ки могут быть не достаточно сильными, чтобы успешно отрабатывать данную задачу. Зачем вам поисковая система, которая будет косячить в 10% случаев? 20%? 30%? причем в обе стороны, т.е. не только выдавать не нужное, но и пропускать нужное

p.s. из-за ограниченного размера контекста, других вариантов кроме как - определить по запросу пользователя, какие ему нужны документы и докинуть саморизацию их в контекст, нет. И это плохо работает.

Лучше работает, если по каждому вопросу в контекст засовывать документ (или пробегать по абзацам/главам) с тщательно сформулированными дополнительными вопросами (их создание и есть разработка такой системы) ответы закидывать контекст беседы с клиентом. Как минимум использование гугло поиска на основе разговора - работает (проблема только выбирать, что читать,.. много - дорого, мало - недостаточно информации)