Что я ищу: программа, которая позволяет локально запустить языковую модель и натравить её на папку с документами так, чтобы модель смогла отвечать на вопросы по содержимому этих документов.
Что я рассматривал:
- PrivateGPT - очень распиаренное ПО, но с точки зрения пользователя это даже не альфа-версия. Чтобы его запустить, нужно вручную ставить охрениллион дополнительного ПО.
- GPT4All - ставится, запускается, но убогий UI делает очень сложным понимание того, какие документы используются в настоящий момент. Неочевидно, какие форматы файлов поддерживаются, какие базы документов активны, по каким критериям отбираются фрагменты для включения в контекст, и так далее.
- LM-Studio - в разы более удобная и отзывчивая программа по сравнению с GPT4All, но не умеет RAG на момент написания вопроса.
- AnythingLLM - не умеет поднимать модель самостоятельно, требует отдельно установленной Ollama.
- Dify - тянут всех на своё облако.
Какие ещё варианты есть?
Сложный
Простой
Средний
