Как работает нормализация?

Question

[vovak1919]

Изучаю пример из книги Ф.Шолле "Глубокое обучение на Питон".
Ссылка на пример
Там есть такой код:

В процессе обработки данных мы будем вычитать среднее для каждой временной последовательности и делить на стандартное отклонение. Для обучения мы используем первые 200 000 замеров, поэтому среднее и стандартное отклонение должны вычисляться только по этой выборке.

In [8]

mean = float_data[:200000].mean(axis=0)
float_data -= mean
std = float_data[:200000].std(axis=0)
float_data /= std

Вроде, по смыслу, нормализация должна касаться только первых 200К образцов, но отладчик показывает, что изменяются и данные за этим диапазоном (свыше 200К). Это ошибка или я неправильно понял смысл операции?

Comments

[dmshar]

Только вот проблемка.
Вы сначала посчитали среднее, потом ИЗ ВСЕГО массива его вычли, а потом посчитали ст.отклонение уже по вот такому вот уменьшенному значению.
На самом деле станд.отклонение необходимо считать по не измененным данным (по первым 200000 его экземплярам), а уже потом применять формулу (float_data-mean)/std.
Т.е. как минимум вторую и третью строки переставить местами.
P.S. Причем тут тег "нейронные сети", да и "машинное обучение" тоже - не пойму. Просто типичная программная ошибка.

[Владимир Олохтонов]

dmshar, сдвиг на константу не влияет на стандартное отклонение.

In [5]: float_data = np.random.normal(loc=5, scale=3, size=100)
In [6]: mean = float_data.mean()

In [7]: mean
Out[7]: 4.896920529973531

In [8]: float_data.std()
Out[8]: 3.305386288077494

In [9]: (float_data - mean).std()
Out[9]: 3.305386288077494

Answer 1

[Владимир Олохтонов]

Среднее и стандартное отклонение считаются по первым 200к, а нормализуется весь датасет.

Comments

[vovak1919]

А не подскажете, в чем разница между расчетами по первым 200К и по всему датасету?

[Владимир Олохтонов]

vovak1919, судя по приведённой вами цитате, автор хочет использовать для нормализации только обучающую выборку, чтобы не заглядывать в данные на которых будет проверяться качество.