@LakeForest

Что такое batch_size в моделях на обучении?

Например тут batch_size: 16. Что это значит? В чем измеряется batch?
  • Вопрос задан
  • 53 просмотра
Решения вопроса 1
@kamenyuga
Обычно под батчем понимают две вещи - 1) во время подготовки данных перед обучением - объем данных (количество строк), загружаемый в память за один раз, 2) во время обучения - объем данных (количество строк), подаваемый модели между вычислениями функции потерь. В первом случае еще используют термин чанк (chunk). Такое маленькое значение - это второй случай. Тем более он упоминается в разделе обучения модели. Т.е. за единичный шаг обучения - подаем модели 16 строк данных.
Ответ написан
Пригласить эксперта
Ответы на вопрос 1
freeExec
@freeExec
Участник OpenStreetMap
Как долго накапливать градиент, прежде чем изменить веса. Измеряется в штуках тренировочных примеров.
Можно и по одному примеру обучаться, но тогда выходит что сначала сеть метнётся вправо на 10, потом влево на 7, и снова вправо на 2. Или с батчем в 3 сразу пойдёт на 5 вправо. Т.е. вместо шараханья туда сюда, она будет постепенно по маленьку двигаться в нужную сторону. Значение подбирается научным тыком.
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы