Как обеспечить многопользовательскую поддержку в LLM?

Question

[emitrokhin]

Кто сталкивался с concurrent доступом/запросом к текстовой языковой модели? Поясню, что я имею в виду: есть желание обеспечить доступом к текстовой модели нескольким десяткам человек. Какие наборы инструментов это помогут сделать? Из того, чем владею (опыт скромный), это
мак на arm,
llama.cpp,
сервер, что умеет попросить подождать, пока запрос исполняется,
и ui.

Ну с точки зрения сервера вопросов нет - поставит в очередь, и кто надо, дождется ответа. Но вот не могу понять, как в той же llama.cpp запускаться в несколько потоков, чтобы можно было много разных промптов от разных людей в разных контекстах обрабатывать.

Comments

[Everything_is_bad]

ну так просто запусти несколько инстансов и всё

[emitrokhin]

Everything_is_bad, да, я такой вариант тоже рассматриваю. Но в случае совсем уж больших моделей работающих в режиме чат бота это будет слишком роскошно

[#]

emitrokhin, а доступ readonly? тогда вообще не понятна проблема..
или возможны записи/правки?

[emitrokhin]

#, возможно я не совсем понимаю про "только чтение". Моя задача обеспечить многопользовательскую работу в стиле чат бота. Люди через свой фронтенд пишут текст, а сервер собирает запросы и в движок LLM направляет. И у меня в этом моменте возникает непонимание, какие движки могут входящие запросы обрабатывать параллельно, ну то есть например пришло два промпта, и одновременно два и обрабатывается сразу на одной машине. Вот например та же LLaMA.cpp

[#]

emitrokhin, кхмм.. ну может я тоже не совсем спец в linux...
и возможно не верно отреагировал на LLM..
если файловый (или БД) ресурс, будет иметь конкурентные запросы на запись, то все верно, будет очередь..
если ресурс файловый, то стоит посмотреть в сторону БД.. наверное мне не чего больше сказать. удачи ))

[Vindicar]

#, тут под LLM имеется ввиду Large Language Model (нейросеть а-ля GPT), это вычислительно жоркий ресурс.

[#]

Vindicar, аа.. марь иванна.. сори ))
но суть одна:
- только запросы? (тогда к авторам софта)
- есть запросы вносящие изменения? (логика будет как у БД..

Answer 1

[emitrokhin]

Друзья, всем спасибо за ответы. Как мне удалось выяснить, llama.cpp имеет серверный режим, который может обеспечить на одной машине параллельную обработку промптов.

Answer 2

[d'Ivan]

С точки зрения движка LLM есть один ресурс, который нужно делить на всех клиентов, переключаясь с одного на другого по обработке каждого вопроса. Поэтому движок должен уметь получать контекст пользователя, обрабатываемого в данный момент. Получив его, отправить запрос движку, подождать окончания ответа, а затем поставить текущий сеанс на паузу.
Можно доработать схему, работая с пулом доступных движков.

Добавлено

Получив его ...

имеется в виду, веб-приложением.

От движка требуется способность переключаться между сеансами контекстов.

Answer 3

[Uno]

что то вы все всё намудрили, запросы, ридонли, контексты
можешь запустить несколько инстансов - запускай, пусть разгребают очередь
не можешь - запускай один, и пусть он же и разгребает
в чем проблема? тут нет ничего нового, это обыкновенная CLI-программа

например пришло два промпта, и одновременно два и обрабатывается сразу на одной машине. Вот например та же LLaMA.cpp

два инстанса - два промпта, либо настолько быстрая генерация, что кажется, что они выполнились одновременно
нет там никакой алгоритмической магии, просто большой вычислительный ресурс, нет никаких параллельных потоков, любой параллельный поток это просто другой инстанс, оно просто с архитектурной точки зрения не предназначено работать параллельно, это тебе не квантовая суперпозиция

про контексты и сеансы что то Иерокопус Таманский вообще завернул, это вопроса не касается никак и ты в целом простое решение сложными словами описал, не очевидно что бекенд должен куки с сессиями и контекстами разруливать? оно же из формулировки вопроса уже - многопользовательское

вот тебе принципиальная схема на примере чего-то другого. слева - UI, центр - очередь запросов на генерацию, справа - инстансы, слово "matlab" просто мысленно замажь