По неподтверждённой информации, в нейросети Яндекса YALM-4 около 1.4 миллиардов параметров. В GPT-3 — 130 миллиардов. Насколько этот разрыв радикален?

Question

[Strangelylookingperson]

Насколько этот разрыв позволяет конкурировать Яндексу с другими компаниями хотя бы на российском рынке, особенно когда с него снимут ограничения, и когда у Яндекса будет хотя бы 100 миллиардов параметров?

Я понимаю, не одними параметрами, но это важная характеристика, которую нельзя сбрасывать со счетов.

Answer 1

[Максим Припадчев]

Окей я не слежу за LLM от яндекса. https://github.com/yandex/YaLM-100B этому 2 года и там 100B или здесь
https://huggingface.co/yandex тоже самое. YALM-4 вообще не слышал, и уж точно не поверю, что яндекс использует сегодня модель с 1.4B параметров.

Comments

[Strangelylookingperson]

Спасибо. Я искал информацию о том, сколько там параметров, и вообще, откуда Яндекс сейчас берёт ускорители. Точную не нашёл.
Когда слышишь, как OpenAI, и иные игроки покупают H100 десятками тысяч, обидно за Яндекс становится.

Answer 2

[stastop]

Разрыв в количестве параметров между YALM-4 и GPT-3 действительно значительный. Параметры нейросетей — это важный, но не единственный фактор, определяющий их эффективность. Более крупные модели, как правило, имеют лучшие способности к обобщению и могут справляться с более сложными задачами, но качество работы модели также зависит от качества данных, на которых она обучалась, архитектуры модели и алгоритмов обучения.
Как вы отметили, параметры — это не единственный показатель. Важны также факторы, такие как доступ к данным, инфраструктура для обучения и развертывания моделей, а также способность адаптироваться к потребностям пользователей.
В целом, хотя разрыв в количестве параметров значителен, он не является единственным определяющим фактором. С правильной стратегией и фокусом на локальные потребности Яндекс вполне способен конкурировать на российском рынке.

Comments

[Strangelylookingperson]

Спасибо большое за ответ

[stastop]

Strangelylookingperson, мне не сложно

[Mors Clamor]

stastop, пора уже вводить в причину удаления вопроса "легко решается нейросетью" и ответа "сгенерировано ИИ"

[stastop]

Mors Clamor, соглашусь, за мной тоже такой грех есть...