[发明专利]一种聚类分析方法及装置

说明书

本发明提供一种聚类分析方法和装置，该聚类分析装置包括：数据获取模块、第一聚类模块、样本数据确定模块、筛选样本模块、计算模块和第二聚类模块。与现有技术相比，本发明提供的一种聚类分析方法和装置，计算两个类的类间距离时采用的是筛选出的两个类中的代表数据对象两两之间的距离，而不是两个类中所有的数据对象，从而节约了所耗费的时间和资源。对于类中代表数据的筛选是根据选择距离簇中心较近和最密集的数据对象为原则，可以提高取样估计的准确性，避免了簇边缘上容易出现误差的数据对象，从而减少了类中可能包含不属于该类的数据对象的概率，提高了聚类效果。

技术领域

本发明涉及数据处理技术领域，具体涉及一种聚类分析方法和装置。

背景技术

随着互联网技术的迅速发展，人们能更加方便快捷地发送与获取各种信息，因此所产生的数据量也是爆炸性增长。在数据挖掘领域中，通常需要对大量的数据进行分析，以获取有价值的分析结果。聚类算法是数据挖掘领域中用于分析数据的一种重要算法，聚类算法可将一些观察对象依据某些特征加以归类，将数据分为多个类。在同一个类内对象之间具有较高的相似度，不同类之间的对象差别较大。其中，层次聚类是较常用的一种聚类算法。但是，通过计算类间距离实现层次聚类时，由于数据量非常大，如果每两个类中的所有数据对象与另一类的所有数据对象进行两两计算距离，将会耗费过多的时间和资源。并且，在层次聚类的过程中一旦一个步骤完成就不能被撤销或修改。在计算类间距离过程中，某一样本的数据存在误差导致计算的相异度矩阵出现误差，每个类中则可能包含不属于该类的数据对象，即噪声，使用该数据对象进行类间距离的计算并形成新类之后，可能会引入更多的噪声，从而导致聚类结果产生更大的偏差，聚类效果较差。

鉴于上述缺陷，本发明创作者经过长时间的研究和实践终于获得了本发明。

发明内容

为解决上述技术缺陷，本发明采用的技术方案在于，一方面提供了一种聚类分析方法，该方法包括以下步骤：

步骤S1：获取待聚类的数据对象集合，所述数据对象集合包含多个类，每个类中至少包含一个数据对象；

步骤S2：对每个类中的数据对象根据预设的终止条件进行聚类，得到聚类结果，所述的聚类结果包含多个簇，每个簇中至少包含一个数据对象；

步骤S3：确定每个类中每个簇的代表数据对象，该代表数据对象为每个簇中离簇的中心较近且密集的数据对象；

步骤S4：对每个类中每个簇中选出的代表数据对象集合起来得到每个类的代表数据对象；

步骤S5：计算每个类的代表数据对象中的两两代表数据对象之间的距离；

步骤S6：根据每两个类中代表数据对象之间的距离计算出每两个类的类间距离，对待聚类集合进行层次聚类，最终得到一个聚合类。

较佳的，所述步骤S3具体包括以下步骤：

步骤S31：计算每个簇的中心点向量；

步骤S32：根据簇的中心点的向量确定簇的中心点的位置；

步骤S33：以簇的中心为圆心，δ为邻域半径，计算出该邻域中数据对象密度即单位面积内数据对象的数目最大时的δ值；

步骤S34：将以簇的中心为圆心，δ为半径的区域内所包围的数据对象确定为代表数据对象。

较佳的，所述每个簇的中心点向量的计算公式为：