То есть GPT-3 с 175 млрд параметрами квантовали, обучали, разквантовали (или как это называется)? Если бы мне нужно было квантовать модель, то этого вопроса бы и не было.. Вопрос о том как уместить модель на 100 гигабайт на нескольких видеокарточках по 80 (или по 40). Это же не дата параллель, мне нужно не данные разделить, а модель (я хотя и данные тоже желательно)
mayton2019, Я вижу что мой второй запрос на доступ к Llama 3 был отклонен. А так по идее должна быть Cuda out of memory т.к я попытаюсь уместить 100 гигов модели на 80 гигов видеокарточки
Я тут удалил из библиотек jda-utilities и все прекрасно заработало. Но вот проблема то в том, что либа jda-utilities мне нужна. Вот в чем проблема то аа
Dmitry Roo, 1. Да, кто ж не сможет хелловорлд написать
2. idk
3. В бета версии присутствуют много новых функций Discord, и я бы хотел попробовать написать бота с ними. Так что да
4. Я питонист, за джаву я сел буквально месяц назад
Написано
Войдите на сайт
Чтобы задать вопрос и получить на него квалифицированный ответ.
