Можно ли запустить нейросеть с меньшим количеством видеопамяти?

Яндекс представил YaLM 100B — самую большую GPT-подобную нейросеть в открытом доступе. Для запуска потребуется 200 Гб видеопамяти.

Вопрос: можно ли использовать меньший объём памяти, если ты готов ждать дольше? Например, условные 4-8 Гб видеопамяти.
  • Вопрос задан
  • 367 просмотров
Решения вопроса 1
@Qeinzo Автор вопроса
Нашел, где человеку удалось запустить на одной RTX 3070 TI. Правда, пришлось купить nvme и 64 Гб RAM: https://habr.com/ru/post/681770/
Ответ написан
Комментировать
Пригласить эксперта
Ответы на вопрос 2
dimonchik2013
@dimonchik2013
non progredi est regredi
для обучения вряд ли, для использования должно сработать
Ответ написан
Noizefan
@Noizefan
зачем она такая нужна? только с яндексом же и конкурировать. Для остального достаточно rugpt в разных размерах
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы