Как обработать null значения переменных в регрессии (машинное обучение)?

Question

[Chichi]

Я пытаюсь провести регрессионный анализ. Имеется множество переменных (multiple feature regression). Некоторым переменным для некоторого элемента данных не присвоено значение и они установлены в null. Для наглядности картинка:


Как можно увидеть, некоторые элементы не имеют значений для определенных категорий (features). На данный момент, я установил их в Null. Но как следует обработать такие значения при выполнении регрессии данных? Я бы не хотел чтобы эти Null значения плохо повлияли на регрессионную модель. К сожалению, удалить элементы, которые в какой-либо из категорий содержать Null, я не могу. Для построения регрессии я использую Python.

Answer 1

[⚡ Kotobotov ⚡]

вы как исследователь данных сами должны решить что делать с пропусками,
обычно есть несколько типовых вариантов:
1. выкинуть эти данные (не подходит если очень мало данных, и каждые на вес золота)
2. заполнить какими-нибудь значениями типовыми, например нулями (если речь о количестве например) , или средними значениями если например это год (писать например 2005)
3. восстановить эти данные (для этого уже нужны определённые подходы и алгоритмы. например, используя соседей, к-mean, коллаборативной фильтрацией.)
у вас вобще тут совсем простая задача -> предположительно цена это результат комбинации набора параметров.
отсюда вы можете оценить влияние каждого параметра на цену. особенно имея схожие значения.
начинайте сначала с простых вещей -> там где CONDITION NEW -> очевидно что YEAR = ~ 2015
потом можно составить систему уравнений -> типа
YEAR*x+Storey*y+Area*z+Condition*n+Type*m+District*k=PRICE
можно легко составить систему из 5 уровнений, и найти коэффициэнты любым удобным для вас способом например Гауссом.
(PS если данных мало то district можно пренебречь)

Comments

[Chichi]

На самом деле кол-во переменных больше и данные немного более запутанные. А пример на картинке это упрощенный пример для наглядности и чтобы не запутывать.

[⚡ Kotobotov ⚡]

всё же у вас всё очень просто если исходить из того что цена - это набор параметров с весами. вам нужно лишь восстановить веса, и подбирать потом по формуле эти параметры.
это один из подходов. есть и другие подходы

Answer 2

[SeptiM]

В первом приближении NULL's можно заменить средним значением или медианой. Если хочется лучше, можно попробовать угадать значения через дополнительную регрессию. Еще более тонкий метод через создание нескольких версий оригинальных данных (см. multiple imputation).

Comments

[Chichi]

Для порядковых данных (например год) я могу использовать среднее значение для заполнения null-ов. А как быть в случае если переменная категоризированная (например цвет или район города к примеру)?

[SeptiM]

У вас же две стадии обработки данных. Сначала все данные, включая категории, превращаются в числа. Потом вы думаете, что делать с пропущенными данными.

Кстати, по поводу среднего стоит помнить такую проблему. Вот у вас есть, например, граждане, которые родились в 87, 90, 93 году примерно в равных пропорциях. Пусть треть граждан не указала свой год рождения. Если пользоваться средним, мы вбросим треть граждан, которые родились в 90-году. Это, скажем, создает некоторую системную ошибку. Это не значит, что такой подход надо немедленно выкинуть, но просто стоит знать, если итоговые результаты не устроят.