Кто знает user-friendly инструмент для поиска по файлам с помощью языковых моделей (RAG)?

Question

[Vindicar]

Что я ищу: программа, которая позволяет локально запустить языковую модель и натравить её на папку с документами так, чтобы модель смогла отвечать на вопросы по содержимому этих документов.

Что я рассматривал:

• PrivateGPT - очень распиаренное ПО, но с точки зрения пользователя это даже не альфа-версия. Чтобы его запустить, нужно вручную ставить охрениллион дополнительного ПО.
  
• GPT4All - ставится, запускается, но убогий UI делает очень сложным понимание того, какие документы используются в настоящий момент. Неочевидно, какие форматы файлов поддерживаются, какие базы документов активны, по каким критериям отбираются фрагменты для включения в контекст, и так далее.
  
• LM-Studio - в разы более удобная и отзывчивая программа по сравнению с GPT4All, но не умеет RAG на момент написания вопроса.
  
• AnythingLLM - не умеет поднимать модель самостоятельно, требует отдельно установленной Ollama.
  
• Dify - тянут всех на своё облако.
  

Какие ещё варианты есть?

Answer 1

[Vindicar]

AnythingLLM можно попробовать подружить с LM-Studio или с Jan, тогда не придётся возиться с Ollama.
Но качество работы пока что неудовлетворительное - надо разбираться.

Answer 2

[gsnx]

Использовать наверное лучше всего фреймворк langchain так как он больше всего подойдет для этого.
Кроме этого подобную задачу отлично решил студент ИТМО университета читать здесь