@ermak148

Как запустить обучение с deepspeed у себя на пк?

Надоело мне значит обучать свой gpt кусками на cpu по 5 часов в день (так как видеокарточка на 4 гига). Статьи про DeepSpeed утверждают, что на gpu можно положить в 10 раз больше параметров, нежели чем при обычном обучении, но внятного ответа на вопрос "как обучить gpt (или другие сети на pytorch) с помощью deepspeed на винде, а так же желательно получить обещанные 10xПараметров" не нашел
Везде либо статьи для линукса, либо различаются по принципу использования: huggingface в документации пишет про какой-то класс в трансформерсах, где то пишут про команду deepspeed "gpt2" "train.txt" (подобное). Ну и я никак не пойму, так как же все таки правильно запустить дипспид у себя на пекарне? (Если будете писать про то что 4 гига даже с дипспидом мало - то я вам отвечу, что в крайних случаях gpu хосты никто не отменял)
  • Вопрос задан
  • 317 просмотров
Пригласить эксперта
Ответы на вопрос 1
@rPman
deepspeed это про обучение на кластере, т.е. вместо покупки одной дорогой серверной видеокарточки, ты поднимаешь кластер из дешевых десктопных и по уму должен получить экономию в деньгах.
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы
SpectrumData Екатеринбург
от 150 000 до 200 000 ₽
Гринатом Москва
от 150 000 ₽
DIGITAL SECTOR Краснодар
от 150 000 до 250 000 ₽
24 июн. 2024, в 00:32
300 руб./за проект
23 июн. 2024, в 23:51
10000 руб./за проект
23 июн. 2024, в 23:27
5000 руб./за проект