Что учитывать при линейной регрессии?

Question

[Cipo]

Такой вопрос. При построении прогноза через линейную регрессию по правилам нам нужно выбросить сильно коррелируемый столбец. Вопрос: почему? А если корреляция столбцов равна 0, удалять столбец данных или нет?

Comments

[mayton2019]

Почему один столбец?

[Cipo]

mayton2019, я имею ввиду вот, что:
Когда мы прогнозируем цену дома мы смотрим на такие параметры как: площадь, район, количество комнат. Например после того как мы построили тепловую карту мы видим сильную корреляцию между ценой и площадью дома. Нам надо удалить этот столбец, ибо расчеты наши будут ошибочны: почему ошибочны, как это понять? И вот еще вопрос например корреляция количества комнат и цены равны 0, почему тогда мы не удаляем столбец с количеством комнат?

[kamenyuga]

Из каждой группы сильно скоррелированных данных (столбцов) удаляем все кроме какого-то одного. Иначе получим, что по факту одинаковые данные продублированы (увеличен их вес в несколько раз - по количеству скорелированных столбцов). Корреляция 0% - это идеал. Корреляция выше 50% - это плохо. Между этими значениями - нормально. Нередко из двух скореллированных столбцов делают один двумерный - бинят сразу пару совместно, если пара добавляет полезную информацию.

[mayton2019]

Cipo, я себе это так вижу. Есть цена дома и цена с учотом налогов. Это - одно и то-же. Корреляция будет равна примерно единичке. Зачем нам брать во внимание эти две абсолютно связные характеристики. Никакой новой информации в модель эта цена с налогами не превносит. И ее можно выкинуть.

Насчет количества комнат - я-бы оставил.

Answer 1

[dmshar]

О чем вообще идет речь? Если об одномерной регрессии, то выбор наиболее сильно коррелированной пары позволяет потом значение одной переменной (выбранной в качестве целевой) наиболее точно предсказывать по значениям второй (выбранной в качестве независимой). Чем выше корреляция - том точнее будет результат предсказания. Соответственно если корреляция между независимой и зависимой переменной равна или близка нулю, то смысла строить регрессионную модель вообще нет от слова совсем.
Если речь идет о многомерной регрессии, то потом к этой паре можно добавлять еще переменных, примерно по той-же логике - чем больше корреляция между переменной и целевой переменной - тем выше точность.
Но есть исключение. Если у вас в качестве кандидатов на независимые переменные рассматриваются несколько переменных которые сильно коррелированы между собой, тогда смысла их всех включать в результирующее уравнение регрессии нет, так как точность прибавиться весьма слабо а вот сложность самого уравнения - вырастет существенно. Поэтому из СИЛЬНОкоррелировнных независимых переменных выбирают одну и с ней работают дальше.
Но и тут есть свои нюансы. Например, если зависимая переменная зависит от произведения (или отношения) нескольких независимых. Но это уже совсем другая история.

Comments

[Cipo]

Хорошо, спасибо, поняла

[dmshar]

Cipo, Вы хоть уже и не новичек на этом сайте, но просмотрев ваши вопросы и - главное - ответы которые вам давали, обнаружил, что вы очевидно не прочитали правила форума и то, как тут принято выражать благодарность за ответ. Рекомендую этот пробел восполнить.

[Cipo]

dmshar, я редко тут заседаю, но в последнее время вопросов пишу достаточно. Я полагаю благодарность - это отметить ваш ответ как решение моей проблемы?