Не хуже гугло переводчика это шутка да? компания наверное миллиарды в эти алгоритмы вбросила, а ты хочешь повторить это забесплатно?
Но наверное все же есть решение.
Благодаря сливу фейсбуковской llama наверное такой переводчик можно дообучить (если openassistent всего за 10 часов на одной машине с 4 видеокартами дообучили ее почти до уровня раннего chatgpt), т.е. на каком то открытом датасете дообучаешь сетку, оформив это в виде какого-нибудь запроса типа
### Instruction:
translate input to russian.
### Input:
текст
### Output:
Совет, используй 65G или 30G, меньшие модели - баловство, к тому же их обучающие датасеты менее мультиязычные.
Достоинство llama в том что благодаря
ggreganov эту сетку можно очень шустро использовать (к сожалению не обучать, надеюсь кто-нибудь это допилит) на обычной и дешевой десктопной машине без видеокарты.
Инструкции как это делать можно почерпнуть из интернета, вот на хабре была подробная
статья по файнтюнингу, задача иная но какая разница, когда имеешь дело с общим ИИ ;).
p.s. результат будет хаотичным! зависящим от того, как совпадет обучающая выборка с твоей задачей. Т.е. оно будет работать но изредка галюцинировать, вот бы научиться эти моменты прогнозировать как то.
upd. ничего не обучая, вот пример
The repository provides code for running inference with the SegmentAnything Model (SAM), links for downloading the trained model checkpoints, and example notebooks that show how to use the model.
для openassistent 30b:
Репозиторий предоставляет код для запуска инференса с Моделью "Сейчас-что-угодно" (SAM), ссылками на загрузку обученных моделей и примерами нотбуков, которые показывают как использовать модель. [end of text]
для llama 65b:
Репозиторий предоставляет код для выполнения вывода с моделью SegmentAnything (SAM), ссылки на загрузку тренированных точек перехода, и примеры тестовых книг, которые показывают, как использовать модель.
гугл транслейт:
Репозиторий содержит код для выполнения вывода с помощью модели SegmentAnything (SAM), ссылки для загрузки контрольных точек обученной модели и примеры записных книжек, демонстрирующих, как использовать модель.
Экспериментально выставил temp 0.1, по уму дефолтно все работает, само собой в ответе будет мусор, что то сетка от себя добавит, это нужно понимать, тюнить стоп слова и т.п.