Какой алгоритм регрессии выбрать для шумных (разбросанных) данных?

Question

[Chichi]

Я хочу построить регрессию с несколькими переменными (multiple features). В моих данных у меня n = 23 переменных и m = 13000 тренировочных примеров. Вот график моих тренировочных данных (площадь квартиры vs цена):


Здесь на графике отображены 13000 тренировочных данных. Как вы можете видеть, это достаточно шумные данные. Мой вопрос: какой алгоритм регрессии больше подходит и обоснован для использования в моем случае. Имею ввиду логично ли использовать простую линейную регрессию или лучше использовать какой-либо нелинейный алгоритм регрессии.

Для наглядности приведу примеры. Вот отвлеченный пример линейной регрессии:


А также отвлеченный пример нелинейной регрессии:

А вот примеры с гипотетическими линиями регрессии для моих данных:

Насколько я понимаю, примитивная линейная регрессия для моих данных произведет большую суммарную погрешность (error cost), так как эти данные шумные и разбросанные. С другой стороны, здесь также не прослеживается какой-либо отчетливой нелинейной зависимости (например синусоидальной). Какой алгоритм регрессии более рационально использовать в моем случае (цены на квартиры) для того чтобы получить более точное прогнозирование цен. И почему этот алгоритм (линейный или нелинейный) более рационален?

Дополнение:
Вот так выглядит мой график линейной зависимости цены от всех 23 параметров , отображенный на данных цена-площадь:

Я не знаю, как бы выглядела НЕлинейная зависимость в таком случае. И была бы она более рациональна чем линейная.

Comments

[nirvimel]

У вас в модели 32 переменные, вы показываете зависимость от одной и визуально делаете вывод, что данные шумные? Интересно.

[Chichi]

Не знаю как представить визуально зависимость данных от 23 переменных. Ведь в таком случае и 3D не поможет.

[nirvimel]

Дмитрий Фролов: Никак не представить, поэтому визуально оценить наличие/отсутствие шумов и степень зашумленности невозможно. То что выглядит как шум на графике зависимости от x1, на самом деле может являться результатом влияния x2.

Answer 1

[Василий]

а вы составьте уравнение типа y=t; t= сумма(k1*x1^2+k2*x1+k3) ну есесно кофициенты свои для каждой переменной и натравите программу которая будет перебирать коэффициенты так чтобы в итоге получилась прямая

Answer 2

[⚡ Kotobotov ⚡]

какого хрена на графике все параметры смешаны?
вполне очевидно что каждый параметр вносит влияние в модель с определённым весом, вам нужно подобрать веса для этих параметров.
начните с линейной зависимости, потом можно перейти на полиномы 2го или 3го порядка если уж вам так не терпиться.
вы же можете везде оценивать суммарную ошибку (стоимость), какая модель с меньшей ошибкой, такая типа и лучше.

Answer 3

[Александр]

берите среднее значение по каждой вертикальной единице.
потом можно попробовать изменить шаг для того чтобы увидеть общий тренд.