Flowise, как подключить эмбендингс?

Question

[MaryRych]

Пытаюсь развернуть локальную нейросеть по данной статье. https://habr.com/ru/companies/reksoft/articles/792496/

В flowise ошибка error 500 с жалобой на энбендинг и не возможность подключить модель. Прикладываю скрин хоста в local AI, LM studio и фото 2 нодов из flowise.

error:%20vectorsService.upsertVector%20-%20Error%3A%20Error%3A%20500%20failed%20to%20load%20model%20with%20internal%20loader%3A%20backend%20not%20found%3A%20/mp/localai/backend_data/backend-assets/grpc/bert-embeddings

Скажите, пожалуйста, как это можно решить. Можно ли реализовать эмбендинг через LM studio вместо open AI, или как реализовать корректно с local ai

Comments

[Ronaldo]

Попробовал по статье настроить, сложно как то выходит всё это повторять.

Попробуйте AnythingLLM, он тоже умеет обращаться к локальным моделям LLM Studio. Там не надо настраивать ноды. Просто создаешь базу из своих документов и чатишься.