Как построить регрессию на данных типа string (машинное обучение)?

Question

[Chichi]

Алгоритмы регрессии работают с данными характеристик представленных в виде чисел. Например:

Довольно понятно, как построить модель регрессии на этих данных и предсказывать цену.

Но на данный момент я бы хотел построить модель регрессии на данных, которые содержат строки (тип string):


Как строить регрессию на таких данных? Я должен перевести эти строковые данные в числа вручную? Имею ввиду должен ли я сам создать какие-либо правила кодирования, и согласно этим правилам конвертировать все данные в численный формат? Есть ли более менее простой способ конвертирования строковых данных в численный формат без необходимости создавать свои правила кодирования, и конвертировать данные вручную. Может есть какие-либо библиотеки на Python, которые бы помогли выполнить эту рутину? Есть ли риски что модель регрессии будет в какой-то степени неверной ввиду "плохой конвертации" в численный формат?

Comments

[Izulle]

А вы уверены, что вам нужна именно регрессия, а не кластеризация ? Если переводить в цифры, то неужто найдется библиотека не питоне, которая сообразит, что Old < Renovated < New и что сопоставить им значения 10, 25 и 50 будет разумно (числа и отношения взяты с потолка, для примера) ?

[Chichi]

Izulle: Цифры рандомные и не имеют никакой взаимозависимости. Для примера.

[Chichi]

Izulle: И характеристики тоже разбросаны без порядка для примера

Answer 1

[SeptiM]

Можно попробовать сделать следующее. Берем каждую колонку, по сути категорию. Смотрим сколько значений она имеет. Пусть это будет k. Заводим k переменных, которые будут принимать значения либо 0, либо 1.

Если, скажем, дом был построен из кирпича, то ставим переменной x_кирпич = 1, а x_бетон и x_дерево равным 0. Ну и обучаем веса.

P.S. Можно сделать k - 1 переменную, проставляя нули всем переменным для одного из значений.

Answer 2

[southsoutheast]

Подозреваю, то, что вам нужно, умеют некоторые алгоритмы деревьев решений (decision trees).
Если я правильно помню, то скорее всего CART, но скорее всего не только он.
На питоне посмотрите библиотеки scikit, spark, но ими мне пользоваться не приходилось.
На всякий случай, точно знаю, что этот и много других алгоритмов деревьев есть в WEKA (отдельная программа для дата майнинга со своими форматами и т.д.).

Comments

[polyhedron]

Особенно мне нравится библиотека spark)))