Какую нейросети актуальны в 2023 году для работы с русским языком?

Question

[Дмитрий Свитящук]

Ищу нейросеть c открытой лицензией, которой можно было бы скормить внутреннюю документацию компании (на русском языке), чтобы она могла отвечать на вопросы по этим данным. Пока наткнулся на DeepPavlov и SpaCy. В них есть необходимые возможности, но смущает, что у них последние обновления были в районе 2019-2020 годов т.е. 3+ лет назад. Учитывая, что Open AI раз в год выкатывает принципиально более функциональную ИИ, есть подозрения, что эти наработки серьезно устарели.

Подскажите, что из нейросетей наиболее актуально в 2023 году для работы с русскими текстами?

UDP. Ладно, насчет SpaCy погорячился. Добрался до их GitHub, у них последняя версия вышла меньше месяца назад. Но все-равно интересно знать, что еще есть.

Comments

[Everything_is_not_so_bad]

А в языке должно накопиться много изменений за год, которые необходимо поддерживать и учитывать? Другими словами, в чём нужда в постоянных обновлениях пакетов? Скажем, SpaCy.

[Дмитрий Свитящук]

Да, было бы неплохо. DeepPavlov так и не смог у себя запустить т.к. он требует старые версии пакетов, которых уже нет в репозиториях. В этом плане SpaCy красавчики. Обновления выходят каждый месяц, обновляют пакеты, добавляют поддержку нового оборудования, исправляют ошибки. И самое важное – добавляют новый функционал. Нейросети сейчас развиваются семимильными шагами и не делать обновления несколько лет – считай, отстал минимум на поколение.

[Александр Скуснов]

Писали же, что GPT-4 на всех языках работает.

[Дмитрий Свитящук]

Александр Скуснов, превосходно работает. И я был бы очень рад его использовать. Только на вход GPT-4 берет ограниченное количество текста, всего пару килобайт. А у меня десятки мегабайт входных материалов.

Answer 1

[rPman]

c открытой лицензией

могла отвечать на вопросы

из самых крупных открытых мультимодальных языковых моделей (именно они проявили способности близкие к интеллекту), что мне известна, это bloom, размер в 13b даже можно на потребительском железе запустить (следующий размер 170B и для его запуска придется городить кластер с десятками секунд на токен) и ее качество в разы (десятки процентов) ниже llama, а у llama хуже chatgpt35 (да на считанные проценты), и тут такое дело что каждый следующий процент - это почти вселенная. Этой моделью я не игрался, но как я понял она лучшая из открытых мультимодальных (бери с префиксом -mt, они мультиязычные).

Еще есть facebook/opt

Оцени модели на самом сложном бенчмарке MMLU, opt66b - 35, bloom175b - 39, llama65b - 68, gpt35 - 70, gpt4 - 86

Настоятельно рекомендую освоить prompt/p-tuning, lora finetuning и т.п. (например peft) под свою задачу, именно таким образом у модели повышают качество работы на десяток другой процентов (сам я еще не дошел до практического применения, только изучаю). На худой конец используй OneShot/MultiShot (когда к запросу спереди добавляется один или несколько примеров вопрос-ответ, что сильно улучшает ответ но увеличивает нагрузку так как запрос увеличивается кратно).

spoiler

Само собой llama - лучшее из доступных решений, но не легальное. Бери минимум 30B лучше 65b, можешь взять оттененную версию от OpenAssistent, 8bit или 4bit quantization вполне себе здраво работает на процессоре с помощью llama.cpp, причем на столько что юзабилити его выше чем штатный питоновский код от huggingface, который мало того что заточен под серверные видеокарты, так еще и не оптимизирован (чего стоит чтение файла с моделью в кеш ОС вместо постоянной загрузки копированием, утилита запускается моментально и не нужно городить сервер с api как это надо в случае с питоном). 6-ядерный i5 12600 пережевывает например 1784b русский текст, а точнее 1981b запрос определить категорию - 239 сек (616.46 ms per token) + ответ в 31токен 32 сек (1055.86 ms per run), требуя для работы 47gb ram

Что лучше openassistent или оригинальная llama сказать сложно, ассистент затюнен на вопрос ответ, т.е. как инструмент общения он предпочтителен, а у llama больше мусора в ответе, но у меня есть ощущение что finetuning ломает модель, я почти уверен что если ее прогнать по тестам, по которым прогоняли llama, значения будут хуже.

Comments

[Дмитрий Свитящук]

Спасибо за ответ! Большой размер модели меня не пугает (видимо, пока не уперся в ограничения оборудования)). Наоборот, как-то с настороженностью отношусь к моделям, где размер меньше гигабайта.

Bloom полистал. Здорово, что они в этом году новую версию выкатили. Да, она мульти-язычная, но не увидел русского языка в составе. Есть парочка европейских, азиатские и на удивление африканские.

Да, на llama тоже заглядываюсь. Легальность пока тоже не особо беспокоит. Больше критично наличие документации, чтобы понятно было как сетку использовать. Без этого какая бы она крутая ни была – она будет бесполезна. Может поделитесь какими-нибудь мануалами?

[rPman]

нету мануалов
и мне кажется их даже исследователям не дали

типовой способ использования llama и openassistent, запрос вида

### Instruction:

инструкции

### Input:

данные или просто текст

### Output:

Пред instruction можно добавить описание, определяющее поведение модели, что то типа 'ты переводишь с японского на русский литературные тексты'. В данном примере в Input будет исходный текст а после output сетка выдаст перевод. В instruction можно добавлять инструкции типа - персонаж такой то - женского рода, переводить так то.

Так же по тому как модель галлюцинирует мусором в ответе можно понять что у нее много управляющих ключевых слов типа ### Question: ### Answer: ### Explanation: ### Comment и т.п. советую экспериментировать с запросами. Так же мне кажется сетка понимает эти ключевые слова на русском, т.е. можно писать ### Инструкции: ### Ответ. Есть типовой вариант использования в виде чата, где строка начинается с имени собеседника, типа AI:, User: сеть способна поддерживать разговор сразу нескольких человек. К сожалению контекст в 2к токенов очень мал (запрос не может превысить этот размер, иначе сеть не увидит его начало)

[Дмитрий Свитящук]

Вооот! Собственно в размере входящего запроса и есть основное ограничение. Более, чем уверен, что chatGPT-4 шикарно справится с этой задачей, но он на вход принимает только пару килобайт текста. А у меня данных на вход на порядки больше.

[rPman]

chatgpt4 пока доступны только 8к токенов, обещают 32к (я так понял это вместе с картинкой, как считать картинку хз)

по поводу контекста, дели текст на части, каждую часть прогоняй запросом, вытягивая какую то выжимку, нужную. для решения, и вставляй ее в следующем запросе, для следующего куска текста

p.s. помни еще есть алгоритмы зашумливания ответа, когда каждый следующий токен выбирается не самый лучший а случайный из приблизительно лучших, я раскрашивал ответ llama, было видно что в моменты когда сеть сомневается, количество вариантов становится резко больше. --temp у llama.cpp можно поставить в 0, тогда будет всегда строго (по умолчанию 0.8)