Можно ли запустить нейросеть с меньшим количеством видеопамяти?

Question

[Qeinzo]

Яндекс представил YaLM 100B — самую большую GPT-подобную нейросеть в открытом доступе. Для запуска потребуется 200 Гб видеопамяти.

Вопрос: можно ли использовать меньший объём памяти, если ты готов ждать дольше? Например, условные 4-8 Гб видеопамяти.

Answer 1

[Qeinzo]

Нашел, где человеку удалось запустить на одной RTX 3070 TI. Правда, пришлось купить nvme и 64 Гб RAM: https://habr.com/ru/post/681770/

Answer 2

[Dimonchik]

для обучения вряд ли, для использования должно сработать

Comments

[Qeinzo]

Как раз для использования. Но где можно найти гайды по этой теме?

[Dimonchik]

русский https://vc.ru/u/482592-zorbasmedia/461430-neyroset...
а так - обычно тут https://huggingface.co/yandex/yalm-100b

но видимо не распробовали

[Qeinzo]

Dimonchik, это видел. Обсуждения тоже видел, но на вопрос человека о запуске без 200 ГБ памяти никто толком не ответил. Не решили проблему с ошибкой CUDA.

Answer 3

[Uno]

зачем она такая нужна? только с яндексом же и конкурировать. Для остального достаточно rugpt в разных размерах

Comments

[Qeinzo]

зачем она такая нужна?

Для личного использования, когда скорость не важна.

Для остального достаточно rugpt в разных размерах

Ни один ruGPT не сравнится с Балабобой, который теперь закрыт (он имел 3 млрд параметров, а тут целых 100). Даже Сбер с его демонстрационным сервисом на 1,3 млрд параметров выдает совсем слабые результаты.

Я допускаю, что полная версия Сбера с 13 млрд параметров может немного лучше, но чтобы получить доступ к Сберклауд, надо быть ИП или представителем организации.