Как запустить языковую модель на JavaScript?

Question

[Надим]

Сейчас появилось много языковых моделей со скромными размерами, которые в общем и целом неплохо работают. Например, из последних интересных — это CoType от МТС, который хорош в обработке русского текста и может быть запущен даже на очень слабых устройствах: https://ollama.com/hodza/cotype-nano-1.5-unofficial

Все эти относительно мелкие нейросети при помощи софта вроде Ollama можно запускать оффлайн на своём ПК. Однако меня гложет вопрос: а нет ли решений на JavaScript, которые могли бы запускать нейросети на фронте прямо в браузере?

Это было бы круто, если такие решения есть. Например, при помощи них можно было бы писать браузерные расширения, которые выполняют обработку контента прямо в браузере, не обращаясь ни к каким API, а чисто используя ресурсы самого браузера и ПК.

Answer 1

[Надим]

Сам спросил и сам же нашел ответ) Блин, зря только спрашивал)) Нашел 3 проекта, которые могут запускать языковые ИИ модели целиком на фронте за счет ресурсов браузера:

https://github.com/rahuldshetty/llm.js
https://github.com/tangledgroup/llama-cpp-wasm
https://github.com/huggingface/transformers.js

Всем спасибо, что заглянули, вопрос закрываю.