Есть ли переводчик нейросеть, которую можно установить к себе на компьютер?

Question

[Filipp42]

Мне нужна программа-переводчик с английского на русский, с открытым кодом, которую можно было бы установить себе на компьютер, как stable diffusion, и которая переводила бы не хуже Гугло-переводчика. Такая есть, или я слишком размечтался?

Answer 1

[rPman]

Не хуже гугло переводчика это шутка да? компания наверное миллиарды в эти алгоритмы вбросила, а ты хочешь повторить это забесплатно?

Но наверное все же есть решение.
Благодаря сливу фейсбуковской llama наверное такой переводчик можно дообучить (если openassistent всего за 10 часов на одной машине с 4 видеокартами дообучили ее почти до уровня раннего chatgpt), т.е. на каком то открытом датасете дообучаешь сетку, оформив это в виде какого-нибудь запроса типа

### Instruction:

translate input to russian.

### Input:

текст

### Output:

Совет, используй 65G или 30G, меньшие модели - баловство, к тому же их обучающие датасеты менее мультиязычные.

Достоинство llama в том что благодаря ggreganov эту сетку можно очень шустро использовать (к сожалению не обучать, надеюсь кто-нибудь это допилит) на обычной и дешевой десктопной машине без видеокарты.

Инструкции как это делать можно почерпнуть из интернета, вот на хабре была подробная статья по файнтюнингу, задача иная но какая разница, когда имеешь дело с общим ИИ ;).

p.s. результат будет хаотичным! зависящим от того, как совпадет обучающая выборка с твоей задачей. Т.е. оно будет работать но изредка галюцинировать, вот бы научиться эти моменты прогнозировать как то.

upd. ничего не обучая, вот пример

The repository provides code for running inference with the SegmentAnything Model (SAM), links for downloading the trained model checkpoints, and example notebooks that show how to use the model.

для openassistent 30b:

Репозиторий предоставляет код для запуска инференса с Моделью "Сейчас-что-угодно" (SAM), ссылками на загрузку обученных моделей и примерами нотбуков, которые показывают как использовать модель. [end of text]

для llama 65b:

Репозиторий предоставляет код для выполнения вывода с моделью SegmentAnything (SAM), ссылки на загрузку тренированных точек перехода, и примеры тестовых книг, которые показывают, как использовать модель.

гугл транслейт:

Репозиторий содержит код для выполнения вывода с помощью модели SegmentAnything (SAM), ссылки для загрузки контрольных точек обученной модели и примеры записных книжек, демонстрирующих, как использовать модель.

Экспериментально выставил temp 0.1, по уму дефолтно все работает, само собой в ответе будет мусор, что то сетка от себя добавит, это нужно понимать, тюнить стоп слова и т.п.

Comments

[Everything_is_not_so_bad]

Любопытно. Судя по результатам, openassistent 30b выдаёт перевод любительского уровня.

[rPman]

Капитан Пронин, рано делаешь выводы, нужно делать тесты

Языковые модели в основе используют случайное число, меняющее вариант ответа, даже когда казалось бы ответ может быть только один.

До некоторой степени этим можно управлять, например параметр temp (0 - меньше вариативности, 1 сильно больше), когда вместо наилучшего следующего слова (токена) берутся соседние по величине вероятности.

[Everything_is_not_so_bad]

rPman, тем не менее, с первого раза у других моделей переводчиков получились результаты получше. Или было несколько попыток с выбором наиболее удачного перевода? Тогда интересно какие использовались метрики для выбора.

[rPman]

Капитан Пронин, единственная попытка, но весь облом LLM-ок в том что их десять раз спросишь они дадут десять разных ответов! да, можно поставить температуру 0 и будет стабильнее но самый первый токен все равно практически случаен (чуть поменяй промпт и уже другой), в этом одновременно беда и гибкость LLM-ок

Вот сделал по три запроса в разные сетки от open assistent и оригинальная llama:

oasst-llama30b-q4.ggml temp=0
Большой языковой модель (LLM) - это языковая модель, состоящая из нейронной сети с многими параметрами (обычно миллиарды весов или больше), обученная на больших объемах неотмеченного текста с помощью самостоятельной учебы. LLM появились около 2018 года и показывают хорошие результаты на широком спектре задач. Это сменило фокус исследований в области обработки естественного языка с предыдущего подхода обучения специальных надёжных моделей для конкретных задач.

oasst-llama30b-q4.ggml temp=default 0.8
Большой языковой модель (LLM) является языковой моделью, состоящей из нейронной сети с большим количеством параметров (обычно миллиарды или более весов), обученной на больших объемах неотмеченного текста с помощью самостоятельной учёбы. LLMs появились около 2018 и хорошо выполняют широкий спектр задач. Это сменило фокус исследований в области языковых технологий от предыдущего подхода обучения специальных надёжных моделей для конкретных задач.
Большой языковой модель (LLM) - это языковая модель, состоящая из нейронной сети с многими параметрами (обычно миллиарды весов), обученная на больших объемах текста без labels с помощью самообучения. LLMs появились около 2018 года и показывают высокую эффективность при выполнении широкого спектра задач. Это сместило акцент исследований в области обработки естественного языка от предыдущего подхода обучения специальных надёжных моделей для конкретных задач.
Большой языковой модель (LLM) это языковая модель состоящая из нейронной сети с многочисленными параметрами (обычно миллиарды весов или больше), обученная на больших объемах неупорядоченного текста используя самонастройку. ЛLM появились около 2018 года и хорошо выполняют широкий спектр задач. Это сдвинуло фокус исследований в области языкового обучения от предыдущего подхода обучения специальных моделей для конкретных задач.

ggml-model-q4_0.bin temp=0
Обширная языковая модель (LLM) - это языковая модель, состоящая из нейронной сети с большим количеством параметров (обычно миллиарды весов или больше), обученная на больших количествах немаркированного текста с помощью самообучающегося обучения. LLM появились примерно в 2018 году и хорошо работают на широком спектре задач. Это изменило фокус исследований в области обработки естественного языка от предыдущего парадигмы обучения специальных супервизорных моделей для конкретных задач.
ggml-model-q4_0.bin temp=default 0.8
Является модель языка большого размера (LLM) - это модель языка, состоящая из нейронной сети с многочисленными параметрами (обычно миллиардами весов или более), обученных на больших количествах немаркированного текста с помощью самонаполняющегося обучения. LLM появились примерно в 2018 году и хорошо работают во многих задачах. Это изменило фокус исследований в области обработки естественного языка, отклонившись от прежнего подхода к специальной обученной модели для каждого конкретного задача.
Большая языковая модель (LLM) — это модель языка, состоящая из нейросети с большим количеством параметров (вместе типичное число весов составляет миллиарды или более), обученная на больших объёмах непомеченного текста с помощью методов самообучения. LLM появились около 2018 года и хорошо работают в широком спектре задач. Это изменило прежнюю парадигму исследований в области обработки естественного языка, которая заключалась в обучении специальных сверхназначенных моделей для конкретных задач.
Обширная языковая модель (LLM) — это языковая модель, состоящая из нейронной сети с большим количеством параметров (обычно миллиарды весов или более), обученных на больших объемах непомеченного текста с помощью самонаводящегося обучения. LLM появились около 2018 года и показывают высокий уровень производительности при выполнении широкого круга задач. Это изменило акцент исследований в области обработки естественного языка от прежнего подхода тренировать специальные обученные модели для решения конкретных задач.

смотрим внимательно, как меняется результат при повторных запросах, я чуть подправил код llama.cpp чтобы он цветами помечал токены, при выборе которых были еще варианты (цвет показывает их количество, на скрине есть для этого легенда)

spoiler

отмеченные красным фоном места это моменты когда сетка вместо наилучшего варианта (как это для temp0 происходит) выбирает случайно из N почти лучших (хочу написать интерфейс показывающий для таких токенов их продолжение)

Главная беда в понимании работы LLM-ок у народа в том что народ от них ждет верных ответов, когда как она старается выдавать ответы, похожие на человеческие (верные и не верные уже не важно, дальше вероятность работает). Это точно так же видно на сетках, генерирующих изображение, так как там алгоритм точно такой же.

При этом где то там внутри модели, как я считаю, интеллект все же сформировался, странный, сложный, однозначно умнее человека, но цели у него далеки от наших ожиданий.

Answer 2

[Василий Банников]

Размечтался