batch_size
- влияет на среднюю ошибку, на которую сеть будет реагировать.
Например если взять batch=1. А "истина" районе 5.
Шаг 1. получим условное смещение весов на +10;
Шаг 2. получим условное смещение весов на -2; Итог +8;
Взять 2.
Шаг 1. получим условное смещение весов на (+10 + -2) / 2=> 4;
Мы приближаемся быстрее.
Если взять мало, то сеть будет туда-сюда "метаться". Если много, то ошибка "средней по больнице" будет очень мала в районе нуля, и обучаться тогда она будет долго.