Как произвести кластеризацию данных?

Question

[Username]

Добрый вечер!
Помогите ответить на мой список вопросов:

1. Для отображения графика, какие параметры я должен передать (в plt.scatter()), чтобы отобразить кластеры?
   
2. К примеру, когда я обучал модель линейной регрессии, то в метод fit передавал x_train, y_train после мог предсказывать свой y на тестовых данных. А как я могу проверить насколько точно составлен конкретный кластер, ведь в метод fit я передаю только x никакие y здесь не фигурируют?
   

Данные брал отсюда.
Это данные с гироскопа телефона, который был закреплён на добровольцах, данные описывают 6 движений человека (WALKING, WALKING_UPSTAIRS, WALKING_DOWNSTAIRS, SITTING, STANDING, LAYING)
Подготовленные данные:
Данные x_test
Данные y_test

Код:

import numpy as np
import matplotlib.pyplot as plt

import pandas as pd
from sklearn import preprocessing

from sklearn.cluster import KMeans
from sklearn.datasets import make_blobs
from sklearn.preprocessing import Imputer

plt.figure(figsize=(12, 12))
X = pd.read_csv('X_test.csv', engine='python', sep=';', index_col=False).as_matrix()
#Нормализация данных
X = preprocessing.scale(X)
print(X)

y_pred = KMeans(n_clusters=6).fit_predict(X)

plt.subplot(221)
plt.scatter(X[:, 0], X[:, 1], c=y_pred)
plt.title("Incorrect Number of Blobs")
plt.show()

Comments

[sim3x]

Если картинка по делу - загрузите ее на хабрасторадж

[Username]

sim3x, По делу это результат моей программы. Загрузил.

[Username]

sim3x, Можете что-то порекомендовать?

[sim3x]

Username, нет

И визуально я не вижу, как их можно разделить

В таких плотных скоплениях к среднее не будет работать, пробуйте что-то другое

[Username]

sim3x, а как можно график построить, вообще не важно сколько там атрибутов будет
Я правильно понимаю, что если у меня было 2 столбца, то я их и передавал в роли ординат и абсцисс?
А как быть в моём случае когда столбцов около 500?
И какие методыможете порекомендовать отсюда - scikit-learn.org/stable/modules/clustering.html

[sim3x]

Username,
Стоит перебрать все методы и покрутить у всех ручки

Я правильно понимаю, что если у меня было 2 столбца, то я их и передавал в роли ординат и абсцисс?

+

А как быть в моём случае когда столбцов около 500?

никак.

[Username]

sim3x, как мне проверить кластеры? Сейчас после работы метода fit_predict(X), сравниваю его с y из csv файла, если равны увеличиваю счётчик и вывожу сколько было всего y и сколько из них совпало.

[sim3x]

Username,
метрики использовать

По линку, что вы давали - есть примеры

[Username]

sim3x, Спасибо за ответы :)

Answer 1

[Данил]

 Давайте по порядку:
1. Добавить цвет для идентификации кластеров:

clusters = KMeans(n_clusters=6).fit_predict(X)

plt.scatter(X[:, 0], X[:, 1], c=[matplotlib.cm.spectral(float(i) /10) for i in cluster.labels_])

2. KMeans - это пример обучения без учителя. Если бы у Вас заранее были метки классов, Вы бы применяли линейную регрессию, например :) Для того чтобы понять насколько хорошо происходит кластеризация, можно отобразить результаты алгоритма на графике, что Вы и хотите сделать.