[发明专利]基于Spark和ASPSO的并行化K-means的优化方法

权利要求书

1.一种基于Spark和ASPSO的并行化K-means的优化方法，其特征在于，包括以下步骤：

S1，通过分割函数粗略的划分图像数据集，并利用基于皮尔逊相关系数和方差的网格划分策略PCCV来计算数据网格的皮尔逊相关系数与相关系数阈值，再通过与阈值比较，对数据网格进行划分，获取网格单元；

S1-1，图像数据集的粗略划分：首先获取划分图像数据集，并将其标记为G_s；其次提出分割函数FD(x_i)计算出划分阈值，分别与每个数据点比较，对于大于阈值的数据则放入网格G_max中，小于阈值的数据则放入G_min中；最后获得G_max与G_min两个数据网格；

所述分割函数FD(x_i)为：

k＝{max(S_i/d_i)|i＝1,2,...u} (1)

其中，k表示分割维度，S_i为空间图像数据集中第i维度的数据的方差，d_i为空间图像数据集中第i维度的数据之和，u表示u个数据维度，为第k分割维度下的数据值，num为网格中的数据点的个数；

S1-2，网格的划分：在获取G_max与G_min两个数据网格之后，对网格G_max与G_min进行进一步的数据划分；

S1-2-1，首先计算网格中数据点的皮尔逊相关系数阈值PCC_k值，以PCC_k值作为网格划分阈值来对数据网格进行划分，通过比较数据皮尔逊相关系数与PCC_k的大小，将系数大于PCC_k的数据进行标记为core，系数小于PCC_k的数据则标记为uncore；

S1-2-2，将网格中数据标记为core与uncore的两种数据分别划分为两个更小的网格，并取消标记；

S1-2-3，对网格进行数据的判断，如果数据点的个数大于网格单元的阈值maxNum，则返回步骤S1-2-1，否则停止对网格进行划分；其中maxNum表示数据的总的个数n与并行化节点Partition个数的比值；

S1-2-4，将划分好的网格单元进行标记，得到网格单元G₁,G₂,G₃...G_m；

令PCC_k为任意两个数据点的皮尔逊相关系数值，则阈值PCC_k为：

其中，PCC_i,j代表数据点i、j之间的关联程度，sum(·)为求和函数，G_num为网格单元的数据个数，ω为数据点的密度权重，x_k,i、x_k,j分别表示第k个网格中的任意两个数据点的值，m表示数据网格总数；

S2，采用SPFG策略，对数据点进行局部区域覆盖，并通过更新函数，更新图像数据集中的样本点，形成以不同样本点为核心的区域簇，获取局部聚类的簇数；

S2-1，对图像数据集中任意一对数据x_i,x_j，计算其作用势γ(x_i,x_j)，并以x_i为基准样本，将其他的样本点对x_j的作用势进行累加，得到每个样本点的作用势集合为：ρ＝{ρ₁,ρ₂,...,ρ_n}，其中ρ₁表示第1个样本点的作用势，ρ₂表示第2个样本点的作用势，ρ_n表示第n个样本点的作用势；

S2-2，从ρ中选择最大作用势ρ_i放入一个空的集合M{}中，并以ρ_i为当前的高斯核中心，以给定的核宽σ建立相应的高斯核来对原始数据的一个局部区域有效覆盖；

S2-3，消除当前高斯核所覆盖的局部区域的样本势值，提出基于高斯核函数的更新函数FU(x_i,y_j)对图像数据集中的其他样本点进行更新；

更新函数FU(x_i,y_j)如下所示：

其中，ρ_i为高斯核中心，ρ_j为集合中的样本点，σ_k表示核宽，表示高斯内核；

更新后每个样本点的作用势集合为ρ'＝{ρ'₁,ρ'₂,...,ρ'_n}，当更新后的势值满足max{ρ'₁,ρ'₂,...,ρ'_n}δ时，即可从ρ'中选择势值最大的样本点，放入集合M₂{}中，其中δ表示作用势的一个阈值，ρ'₁表示更新后的第1个样本点的作用势，ρ'₂表示更新后的第2个样本点的作用势，ρ'_n表示更新后的第n个样本点的作用势；

S3，采用ASPSO策略，计算自适应参数，通过自适应参数更新粒子的位置和速度，获取局部簇质心；

S4，采用CRNN策略计算每个簇的簇半径，通过簇半径计算出簇与簇之间的邻居节点，并根据簇的相似性函数进行相似度判断，结合Spark并行计算框架将相似度大的簇进行合并；

S4-1，对于每一个簇C'₁,C'₂,...C'_K，分别计算出离质心距离最大的点，以其到质心的距离作为簇半径R_i；在获取每一个簇的簇半径之后，便计算出各个簇之间的邻居节点；其中C'₁为第1个簇，C'₂为第2个簇，C'_K为第K个簇；

S4-2，对于簇第i个簇C_i'、第j个簇C_j'，通过邻居节点集疏密程度判断两个簇之间的亲密程度，并分别计算出两个簇的样本点数n_i,n_j，提出簇的相似性函数CSM(n_i,n_j)，计算出簇与簇之间的相似度；

S5，输出聚类结果：最终的聚类中心以及每个样本所属的类别。