Flowise, как подключить эмбендингс?

Question

[MaryRych]

Пытаюсь развернуть локальную нейросеть по данной статье. https://habr.com/ru/companies/reksoft/articles/792496/

В flowise ошибка error 500 с жалобой на энбендинг и не возможность подключить модель. Прикладываю скрин хоста в local AI, LM studio и фото 2 нодов из flowise.

error:%20vectorsService.upsertVector%20-%20Error%3A%20Error%3A%20500%20failed%20to%20load%20model%20with%20internal%20loader%3A%20backend%20not%20found%3A%20/mp/localai/backend_data/backend-assets/grpc/bert-embeddings

Скажите, пожалуйста, как это можно решить. Можно ли реализовать эмбендинг через LM studio вместо open AI, или как реализовать корректно с local ai

Comments

[Ronaldo]

Попробовал по статье настроить, сложно как то выходит всё это повторять.

Попробуйте AnythingLLM, он тоже умеет обращаться к локальным моделям LLM Studio. Там не надо настраивать ноды. Просто создаешь базу из своих документов и чатишься.

[Ronaldo]

Пытался весь вечер подключить Flowise к локальной API LLM Studio. Что то ничего не цепляется, даже самый простейший чат.

[MaryRych]

Ronaldo, спасибо большое
Тогда буду пробовать Ваш способ!

[MaryRych]

Ronaldo, спасибо! Anything LLM подключился с первого раза

[Ronaldo]

MaryRych, Поставил в ответ.

Answer 1

[Ronaldo]

Попробуйте AnythingLLM, он тоже умеет обращаться к локальным моделям LLM Studio. Там не надо настраивать ноды. Просто создаешь базу из своих документов и чатишься.