Почему SVM чувствителен к масштабам признаков?

Question

[Константин Голик]

Привет!
Читаю книгу по машинному обучению - "Прикладное машинное обучения с помощью Scikit-learn и Tensorflow". Наткнулся на следующую врезку:



Вопрос: почему в случае, изображенном на левой картинке самая широкая полоса близка к горизонтали, если мы можем провести точно такую-же полосу как на правом снимке и она будет шире горизонтальной? Как вообще это работает в контексте масштабирования признаков? И разве она так и не должна пройти, если это large margin classification, то по идее на обоих изображениях граница как cправа должна быть

Answer 1

[dmshar]

Можно долго говорить, что масштабирование это нелинейное преобразование, объяснять - но все уже написано в книге. Поэтому лучше попробовать ручками написать функцию масштабирования и посмотреть, как она преобразует ваши точки (хотя-бы те, что на графике), и как она преобразует точки разделяющей прямой.
Нарисуйте график, и тогда все вопросы сами отпадут, без заумных разъяснений.