Как вычислить веса линейного классификатора?

Question

[koshelevatamila4741]

Не могу найти в интернете, везде просто пишут, что это линия (гиперплоскость) разделяющая объекты, а как вообще построить самому эту линию (гиперплоскость), например, есть два вектора (значения признака x1 и признака x2) как вычислить веса w1 и w2 в функции y=w1*x1+w2*x2 чтобы она лучше всего разделяла их? и как пользоваться ею чтобы классифицировать новый объект, например, с атрибутами (x1=x2=2)
1 6 2 8 6 2 1 (y)
3 6 3 8 8 4 2 (x)

Comments

[mayton2019]

Непонятно какая задача решается? Регрессия или кластеризация или классификация?
Регрессия - это слева вниз и вправо-вверх линия. Вжух! И готово. И формула там простая. Без нейросетей.

Если поделить точки на 2 класса - то нужно либо покрасить их в разный цвет. Например красный и зеленый.
Тегировать. И тогда будет понятно как проводить. Либо решить сколько классов мы ищем. 2? А может 3?
И признаки близости будут декартово расстояние к примеру. Чем ближе точки - тем они "классовее".

Answer 1

[dmshar]

Не надо изобретать велосипед. Ваша задача - это классика. Называется
Метод_опорных_векторов (https://ru.wikipedia.org/wiki/Метод_опорных_векторов).
Имеется куча литературы, да и в интернет тема раскрыта неплохо.
(Просто несколько ссылок для "раскрутки"
https://www.projectpro.io/data-science-in-r-progra...
https://www.analyticsvidhya.com/blog/2021/03/begin...
https://habr.com/ru/company/ods/blog/484148/

Правда она математически сложнее регрессии. Но если вам надо - читайте, изучайте, применяйте.

Answer 2

[Сергей Ильин]

Поддержу автора выше. Нарисуйте линию, посчитайте сумму квадратов расстояний от ваших точек до этой линии (или средний квадрат - как вам будет угодно), поищите другие линии. Таким перебором вы рано или поздно нарисуете такую, при которой ваша ошибка будет минимальной. Такая линия будет "усреднением", аппроксимацией ваших наблюдений. Если вы в ваши точки добавите еще и класс этих точек (напр., бинарное разделение, 1 и 2). то тут вы должны не только исхитриться провести линию "усредненно", но еще и так, чтобы точки одного класса оказались с одной стороны, а точки другого - с другой. Иногда для этого добавляют еще одну размерность, в которой эти точки хорошо разделимы. Это вкратце о разделяющей поверхности и методе svm. Естественно, руками такого никто не делает, ваш sklearn давно и хорошо это умеет "из коробки".