Зачем нужна нормализация количественных признаков?

Question

[un1t]

Прохожу туториал вот тут mlbootcamp.ru/article/tutorial
Вначале идет подготовка данных к виду, когда их можно скормить алгоритму. Все было понятно вот до этого момента:

Нормализация количественных признаков

Многие алгоритмы машинного обучения чувствительны к масштабированию данных. К таким алгоритмам, например, относится метод ближайших соседей, машина опорных векторов и др.

В этом случае количественные признаки полезно нормализовать. Это можно делать разными способами. Например, каждый количественный признак приведем к нулевому среднему и единичному среднеквадратичному отклонению:

data_numerical = data[numerical_columns]
data_numerical = (data_numerical - data_numerical.mean()) / data_numerical.std()
data_numerical.describe()

Хотелось бы понять в чем физический смысл этой нормализации.
Можете популярно объяснить или какие-то ссылки подкинуть?

Answer 1

[Andrey Druzhaev]

Смысл очень простой. Попытаюсь объяснить на примере.
Метрические алгоритмы делают свои выводы на основе оценки расстояния между точками или между точкой и прямой. Пусть у нас есть две переменные, одна изменяется от 0 до 100, вторая - от 0 до 1.
Возьмем две точки - (0, 0) и (100, 1). Расстояние между ними по евклидовой метрике:
((100 - 0)**2 + (1 - 0)**2) ** 0.5.
Видно, что оценка расстояния формируется в основном лишь за счет 1 переменной. Отсюда следует, что значения 2 переменной будут слабо влиять на конечный результат работы алгоритма. И это будет связанно только с тем, что данные не нормализованы. А не с тем, что вторая переменная не влияет на результат по сути задачи.

Comments

[un1t]

Спасибо! Теперь понятно. А саму формулу можешь прокомментировать? вычесть среднее и разделить на стандратное отклонение. Что мне превое в голову приходит, чтобы привести к одному масштабу это просто умножить на коэффициент в даном случае вторую переменную умножим на 100 и тогда масштаб будет один.

[Andrey Druzhaev]

un1t: эту процедуру можно делать по разному. Самый простой вариант - вычесть среднее и разделить на разницу между максимальным значением и минимальным. Но он плох тем, что в случае случайного выброса (например, для первой переменной появилась точка со значением 1000) такого рода обработка будет не удачной.
Второй вариант - отнять среднее и поделить на стандартное отклонение. Этот способ более устойчив к выбросам. Но все равно среднее значение и стандартное отклонение чувствительны к выбросам.
Третий вариант (робастная нормализация) - отнять медиану и поделить на разность между третьим и первым квартилями. Такой вариант практически сводит на нет влияние выбросов.