FerroPanda
@FerroPanda

Как тренировать нейронную сеть, если размер модели больше, чем имеющийся объём памяти устройства?

Всегда можно создать модель НС, размер которой будет больше, чем объём памяти одиночного вычислительного устройства(сервера/видеокарты/ноды). Какие способы/принципы используются при обучении таких НС?
  • Вопрос задан
  • 64 просмотра
Решения вопроса 1
FerroPanda
@FerroPanda Автор вопроса
В моём случае актуальным является PyTorch и там я нашёл как использовать параллелизм модели.
Single-Machine Model Parallel Best Practices
Если по простому, то раскидываем слои модели по разным устройствам и они поочереди считаются. Для ускорения процесса используется поточность - пока вторая карта считает последние слои, первая уже начинает считать первые слои на следующем примере.
Ответ написан
Комментировать
Пригласить эксперта
Ответы на вопрос 1
@Zerg89
Используются технологии объединения северных мощностей вроде numa
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы