SciPy k均值聚类

聚类(K-means clustering)是在一组未标记的数据中,将相似的数据(点)归到同一个类别中的方法。聚类与分类的最大不同在于分类的目标事先已知,而聚类则不知道。

K-means是聚类中最常用的方法之一,它是基于点与点的距离来计算最佳类别归属,即靠得比较近的一组点(数据)被归为一类。

K-means的算法原理如下:

  1. 随机选取k个点作为中心点
  2. 遍历所有点,将每个点划分到最近的中心点,形成k个聚类
  3. 根据聚类中点之间的距离,重新计算各个聚类的中心点
  4. 重复2-3步骤,直到这k个中线点不再变化(收敛了),或达到最大迭代次数

SciPy中,cluster包已经很好地实现了K-Means算法,我们可以直接使用它。

使用SciPy中的k均值聚类功能

导入 K-Means

导入要使用的模块:

from SciPy.cluster.vq import kmeans,vq,whiten

样本数据生成

准备样本数据:

from numpy import vstack,array
from numpy.random import rand

# 具有3个特征值的样本数据生成
data = vstack((rand(100,3) + array([.5,.5,.5]),rand(100,3)))

上面的程序将生成以下样本数据:

[[9.08178137e-01 1.13621041e+00 1.37775140e+00]
 [8.03177864e-01 8.61501332e-01 1.36841278e+00]
 [1.20454835e+00 5.80649650e-01 1.02232192e+00]
 [5.78773849e-01 1.29952832e+00 9.01418916e-01]
 [1.00196410e+00 1.15425599e+00 5.68536029e-01]
 [1.12860722e+00 7.63647578e-01 6.03910440e-01]
 [1.29241389e+00 1.33779906e+00 1.38514877e+00]
 [6.98439684e-01 1.10509272e+00 7.13420372e-01]
...

数据白化预处理

数据白化预处理是一种常见的数据预处理方法,作用是去除样本数据的冗余信息。

可以使用以下代码来白化数据。

# 白化数据
data = whiten(data)

分成3个聚类

我们会把样本数据分成3个聚类,使用kmeans()函数计算3个聚类的中心点。

# 计算 K = 3 时的中心点
centroids, _ = kmeans(data, 3)

打印中心点:

print(centroids)

输出:

[[2.33037825 1.63328035 1.76901626]
 [0.69611182 1.48776606 1.25827876]
 [2.39743406 2.98803923 2.99201397]]

使用vq函数将样本数据中的每个样本点分配给一个中心点,形成3个聚类。

# 将样本数据中的每个值分配给一个中心点,形成3个聚类。
# 返回值clx标出了对应索引样本的聚类,dist表示对应索引样本与聚类中心的距离。
clx, dist = vq(data, centroids)

输出聚类

# 打印聚类
print(clx)

输出:

[1 1 1 1 1 1 1 0 0 1 0 0 1 0 0 1 1 0 1 1 1 1 0 0 0 1 0 1 0 1 1 0 1 0 0 1 0
 1 0 1 1 1 0 1 0 0 1 1 1 1 0 0 1 0 1 0 1 1 1 1 1 1 1 1 1 0 1 1 1 0 1 1 1 0
 0 0 1 0 0 0 0 0 1 1 1 0 1 0 1 1 1 0 1 0 0 1 0 0 1 1 0 2 0 2 0 2 2 2 0 2 0
 0 0 2 2 2 2 2 0 0 0 2 2 2 2 0 0 0 2 2 2 0 2 0 2 2 0 2 0 2 2 2 2 2 2 0 2 2
 2 2 2 2 2 0 2 0 0 2 2 0 0 0 0 0 0 0 2 0 0 2 0 0 2 2 2 2 2 2 2 0 2 0 0 2 2
 2 0 2 2 0 0 2 2 2 2 0 2 0 0 2]

上面数组中,值0,1,2分别表示3个聚类,某个位置上的值表示该对应索引数据属于哪个聚类,例如clx[0]=1,表明data[0]样本属于聚类1。



浙ICP备17015664号 浙公网安备 33011002012336号 联系我们 网站地图  
@2019 qikegu.com 版权所有,禁止转载