Почему в TensorFlow иногда не нормализуют данные на единицу?

Question

[SEOD]

Изредка натыкаюсь на подобные примеры использования TensorFlow: https://medium.com/tensorflow/getting-started-with...
где не нормализуют данные перед тем как закинуть их в TensorFlow:

const xs = tf.tensor2d([-1, 0, 1, 2, 3, 4], [6, 1]);
const ys = tf.tensor2d([-3, -1, 1, 3, 5, 7], [6, 1]);
await model.fit(xs, ys, {epochs: 500});

Причём оно ещё нормально работает :) А разве не должны быть данные нормализованы предварительно на единицу?

Answer 1

[ivodopyanov]

Нормализация данных - это же лишь один из способов ускорить обучение. Чтобы оно быстрее спускалось вместо того, чтобы влево-вправо колебаться, условно говоря. Это оптимизация, а не часть алгоритма.

Comments

[SEOD]

А какая разница где колебаться в нулях и единицах или в бОльших числах? Там же масштаб один и тот же, просто всё масштабировано в другие числа, а "дистанции" пропорционально не меняются.

[ivodopyanov]

Нормализуют обычно отдельно каждые фичи, а не весь вектор целиком.

Answer 2

[Lander]

Вроде нет. Метод обратного распространения ошибки позволяет этого не делать.