Vindicar
@Vindicar
RTFM!

Кто знает user-friendly инструмент для поиска по файлам с помощью языковых моделей (RAG)?

Что я ищу: программа, которая позволяет локально запустить языковую модель и натравить её на папку с документами так, чтобы модель смогла отвечать на вопросы по содержимому этих документов.

Что я рассматривал:
  • PrivateGPT - очень распиаренное ПО, но с точки зрения пользователя это даже не альфа-версия. Чтобы его запустить, нужно вручную ставить охрениллион дополнительного ПО.
  • GPT4All - ставится, запускается, но убогий UI делает очень сложным понимание того, какие документы используются в настоящий момент. Неочевидно, какие форматы файлов поддерживаются, какие базы документов активны, по каким критериям отбираются фрагменты для включения в контекст, и так далее.
  • LM-Studio - в разы более удобная и отзывчивая программа по сравнению с GPT4All, но не умеет RAG на момент написания вопроса.
  • AnythingLLM - не умеет поднимать модель самостоятельно, требует отдельно установленной Ollama.
  • Dify - тянут всех на своё облако.

Какие ещё варианты есть?
  • Вопрос задан
  • 142 просмотра
Пригласить эксперта
Ответы на вопрос 2
gsnx
@gsnx
Мастер производства
Использовать наверное лучше всего фреймворк langchain так как он больше всего подойдет для этого.
Кроме этого подобную задачу отлично решил студент ИТМО университета читать здесь
Ответ написан
Комментировать
Vindicar
@Vindicar Автор вопроса
RTFM!
AnythingLLM можно попробовать подружить с LM-Studio или с Jan, тогда не придётся возиться с Ollama.
Но качество работы пока что неудовлетворительное - надо разбираться.
Ответ написан
Комментировать
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы