[发明专利]基于拉格朗日对偶的半正定谱聚类方法

说明书

技术领域

本发明涉及一种谱聚类方法，特别是涉及一种基于拉格朗日对偶的半正定谱聚类方法。

背景技术

聚类分析是统计数据分析和处理领域最流行的技术之一。目前已广泛地应用于图像分析、模式识别、机器学习和信息检索等。聚类分析的目标是有效地区分数据集中不同的数据类别（称为“簇”），使得相同簇内数据的相似度大，而不同簇数据之间数据的相似度小。近年来，谱聚类方法已快速发展成为一类有效的聚类技术。谱聚类方法建立在谱图理论的基础上，主要利用数据集的相似度矩阵的特征向量进行有效聚类。与传统的聚类方法（如k-均值聚类等）相比，谱聚类方法有很多优点，其不仅实现简单，与维数无关，而且能够在任意形状的数据分布上聚类并收敛于全局的最优解，因此得到了广泛的应用。

谱聚类方法把聚类看成是一个图分割问题。一般情况下，谱聚类方法首先建立一个基于所有数据点的图模型（相似度矩阵），图中的边用来表征不同数据点之间的距离。然后在特定的误差度量下对相似度矩阵进行归一化，最后对归一化矩阵的特征值分解得到的低维数据利用简单的聚类方法（如k均值聚类）进行有效聚类。谱聚类方法中相似度矩阵的建立和归一化是影响最终谱聚类性能的关键因素。

给定一个相似度矩阵，最简单的图分割方法就是解决最小割（min-cut）问题。最小割的目的是最小化子图的边的权重（即子图中样本之间的相似度和）。然而由于子图大小没有限制，通常最小割的聚类结果并不有效。通过在图分割的问题中引入子图大小的约束条件，比率割（Ratio-Cut）（P.K.Chan,M.D.F.Schlag,and J.Y.Zien,“Spectral k-way ratiocutpartitioning and clustering,”IEEE Trans.Comput.-Aided Des.Integr.Circuits Syst.,vol.13,no.9.pp.1088-1096,1994.）和归一化割（Normalized-Cut）（J.Shi and J.Malik,“Normalized cutsand image segmentation,”IEEE Trans.Pattern Anal.Mach.Intell.,vol.22,no.8,pp.888-905,2000.）可以有效的解决这个问题。比率割和归一化割的本质都是希望达到不同簇之间的平衡分割。

理论已证明，比率割和归一化割的关键区别是相似度矩阵归一化的不同。相似度矩阵归一化实际上是一个寻找双随机（doubly-stochastic）矩阵（非负，对称和F1=1）的过程。不同的谱聚类算法实际都可以看成是寻找在不同的误差度量下的一种近似。比率割是基于L₁错误度量下的归一化，而归一化割是基于相对熵（也称为的Kullback-Leibler散度）错误度量下的归一化。Zass等人（R.Zass and A.Shashua,“Doubly stochastic normalization forspectral clustering,”in Proc.Adv.Neural Inf.Process.Syst.,Vancouver,B.C.,Canada,2006,pp.1569–1576.）提出了一种基于Frobenius范数寻找双随机矩阵的有效归一化方法（简称FSC方法）。FSC方法通常被认为是目前有效的一种相似度矩阵归一化方法。然而Frobenius归一化的主要问题是半正定约束条件被忽略。这使得该方法得到的双随机矩阵并不准确。另一方面，加入半正定条件的Frobenius归一化优化问题是一种半正定规划问题。为了求解该优化问题，传统的基于内点法的求解算法的效率很低，时间复杂度高达（O(n^6.5)），其中n是数据的数目，只能应用在小规模的数据集上。

发明内容

本发明的目的在于提供可以非常方便地利用现有的特征值分解和梯度下降法来解决半正定规划问题，可以在多项式时间内找到全局最优解，且其时间复杂度仅为（O(t^·n³)，其中t为迭代次数，通常约250次）的基于拉格朗日对偶的半正定谱聚类方法。