Что такое batch_size в моделях на обучении?

Question

[LakeForest]

Например тут batch_size: 16. Что это значит? В чем измеряется batch?

Answer 1

[kamenyuga]

Обычно под батчем понимают две вещи - 1) во время подготовки данных перед обучением - объем данных (количество строк), загружаемый в память за один раз, 2) во время обучения - объем данных (количество строк), подаваемый модели между вычислениями функции потерь. В первом случае еще используют термин чанк (chunk). Такое маленькое значение - это второй случай. Тем более он упоминается в разделе обучения модели. Т.е. за единичный шаг обучения - подаем модели 16 строк данных.

Answer 2

[freeExec]

Как долго накапливать градиент, прежде чем изменить веса. Измеряется в штуках тренировочных примеров.
Можно и по одному примеру обучаться, но тогда выходит что сначала сеть метнётся вправо на 10, потом влево на 7, и снова вправо на 2. Или с батчем в 3 сразу пойдёт на 5 вправо. Т.е. вместо шараханья туда сюда, она будет постепенно по маленьку двигаться в нужную сторону. Значение подбирается научным тыком.