Sklearn K均值聚类

到目前为止,我们已经非常深入地了解了数据集,并且把它分成了训练子集与测试子集。

接下来,我们将使用聚类方法训练一个模型,然后使用该模型来预测测试子集的标签,最后评估该模型的性能。

聚类(clustering)是在一组未标记的数据中,将相似的数据(点)归到同一个类别中的方法。聚类与分类的最大不同在于分类的目标事先已知,而聚类则不知道。K均值聚类是聚类中的常用方法,它是基于点与点的距离来计算最佳类别归属,即靠得比较近的一组点(数据)被归为一类,每个聚类都有一个中心点。

我们首先创建聚类模型,对训练子集进行聚类处理,得到聚类中心点。然后使用模型预测测试子集的标签,预测时根据测试子集中的点(数据)到中心点的距离来进行分类。

创建模型

示例

创建聚类模型。

import numpy as np
from sklearn import datasets

# 加载 `digits` 数据集
digits = datasets.load_digits()

from sklearn.preprocessing import scale

# 对`digits.data`数据进行标准化处理
data = scale(digits.data)

# print(data)

# 导入 `train_test_split`
from sklearn.model_selection import train_test_split

# 数据分成训练集和测试集
# `test_size`:如果是浮点数,在0-1之间,表示测试子集占比;如果是整数的话就是测试子集的样本数量,`random_state`:是随机数的种子
X_train, X_test, y_train, y_test, images_train, images_test = train_test_split(data, digits.target, digits.images, test_size=0.33, random_state=42)

# 导入“cluster”模块
from sklearn import cluster

# 创建KMeans模型
clf = cluster.KMeans(init='k-means++', n_clusters=10, random_state=42)

# 将训练数据' X_train '拟合到模型中,此处没有用到标签数据y_train,K均值聚类一种无监督学习。
clf.fit(X_train)

cluster.KMeans的参数说明:

  • init='k-means++' – 指定初始化方法
  • n_clusters=10 – 聚类数量,分成10个类别
  • random_state=42 – 随机值种子

我们利用K均值聚类方法创建一个模型后,得到了每个聚类的中心点,测试时,可以根据测试子集中的点(数据)到中心点的距离来进行分类。

可以使用下面方法显示聚类中心点图像:


# 导入 matplotlib import matplotlib.pyplot as plt # 图形尺寸(英寸) fig = plt.figure(figsize=(8, 3)) # 添加标题 fig.suptitle('Cluster Center Images', fontsize=14, fontweight='bold') # 对于所有标签(0-9) for i in range(10): # 在一个2X5的网格中,在第i+1个位置初始化子图 ax = fig.add_subplot(2, 5, 1 + i) # 显示图像 ax.imshow(clf.cluster_centers_[i].reshape((8, 8)), cmap=plt.cm.binary) # 不要显示坐标轴 plt.axis('off') # 显示图形 plt.show()

显示

图

测试模型

接下来预测测试子集的标签:

# 预测“X_test”的标签
y_pred=clf.predict(X_test)

# 打印出' y_pred '的前100个实例
print(y_pred[:100])

# 打印出' y_test '的前100个实例
print(y_test[:100])

输出

[0 3 3 6 8 9 8 9 8 8 4 2 7 1 2 4 3 7 3 8 2 8 3 7 4 0 3 8 0 3 2 3 9 2 2 0 3
 2 7 0 0 3 4 3 0 4 3 1 0 3 7 4 3 8 0 1 3 1 1 2 1 2 3 8 2 3 7 1 7 3 3 3 3 7
 7 1 2 8 3 3 3 1 8 3 3 1 0 2 2 3 4 9 4 3 3 9 3 2 2 7]
[6 9 3 7 2 1 5 2 5 2 1 9 4 0 4 2 3 7 8 8 4 3 9 7 5 6 3 5 6 3 4 9 1 4 4 6 9
 4 7 6 6 9 1 3 6 1 3 0 6 5 5 1 9 5 6 0 9 0 0 1 0 4 5 2 4 5 7 0 7 5 9 5 5 4
 7 0 4 5 5 9 9 0 2 3 8 0 6 4 4 9 1 2 8 3 5 2 9 0 4 4]

在上面的代码块中,预测测试集的标签,结果存储在y_pred中。然后打印出y_pred和y_test的前100个实例。可以看出模型预测的准确率并不高。

评估模型

接下来,我们将进一步对模型的性能进行评估,分析模型预测的正确性。

让我们打印一个混淆矩阵:

# 从“sklearn”导入“metrics”
from sklearn import metrics

# 用“confusion_matrix()”打印出混淆矩阵
print(metrics.confusion_matrix(y_test, y_pred))

输出

[[ 0 54  1  0  0  0  0  0  0  0]
 [ 0  0 15  0 29  0  0  0  0 11]
 [ 1  0  2  0  7  0  0  0 27 15]
 [ 0  0  0 49  1  0  0  4  1  1]
 [ 0  0 57  0  0  0  3  4  0  0]
 [ 1  0  2 34  6  0  0  5 25  0]
 [56  1  0  0  0  0  0  0  0  0]
 [ 0  0  0  0  0  0  5 55  2  0]
 [ 0  0  0 18 28  0  0  2  4  0]
 [ 1  0  5 55  2  0  1  4  0  0]]

混淆矩阵

混淆矩阵也称误差矩阵,是表示精度评价的一种标准格式,用n行n列的矩阵形式来表示,每一列代表预测值,每一行代表实际的类别。混淆矩阵对角线上的值表示预测值匹配数,其他位置表示错配的数量。例如第一行第二列是54,表示实际值是分类0,但预测值是分类1的错误预测发生了54次。

可以看出模型预测的准确率并不高:数字3预测对了49次,数字7预测对了55次,其他的都很低。

让我们继续打印一些常用的评估指标:

from sklearn.metrics import homogeneity_score, completeness_score, v_measure_score, adjusted_rand_score, adjusted_mutual_info_score, silhouette_score
print('% 9s' % 'inertia    homo   compl  v-meas     ARI AMI  silhouette')
print('%i   %.3f   %.3f   %.3f   %.3f   %.3f    %.3f'
          %(clf.inertia_,
      homogeneity_score(y_test, y_pred),
      completeness_score(y_test, y_pred),
      v_measure_score(y_test, y_pred),
      adjusted_rand_score(y_test, y_pred),
      adjusted_mutual_info_score(y_test, y_pred),
      silhouette_score(X_test, y_pred, metric='euclidean')))

输出:

inertia    homo   compl  v-meas     ARI AMI  silhouette
48486   0.584   0.662   0.621   0.449   0.572    0.131
  • homogeneity_score 同质性指标,每个群集只包含单个类的成员。
  • completeness_score 完整性指标,给定类的所有成员都分配给同一个群集。
  • v_measure_score 同质性指标与完整性指标的调和平均。
  • adjusted_rand_score 调整兰德指数
  • adjusted_mutual_info_score 调整互信息
  • silhouette_score 轮廓系数

关于这些指标的详情,限于篇幅,不再赘述,你可以参考相关资料。



浙ICP备17015664号 浙公网安备 33011002012336号 联系我们 网站地图  
@2019 qikegu.com 版权所有,禁止转载