[发明专利]一种面向大数据中任意形状数据簇的快速聚类方法

摘要

本发明公开了一种面向大数据中任意形状数据簇的快速聚类方法；通过对海量数据进行采样，并且对采样点的位置根据原始数据分布进行合理调整，实现在压缩数据集中数据样本数量的同时，能够有效保留原始数据集的形状信息。接下来在数据集上使用现有的任意形状聚类算法进行处理，得到最终的聚类结果。本发明能够使得在采样数据集上的聚类结果与在原始数据集上的聚类结果基本一致。相较于现有的对大数据的任意形状处理方法，本发明的方法能够在保持结果准确的前提下，极大的压缩方法的运行时间，因而比现有方法更加高效。

主权项

一种面向大数据的快速聚类方法，其特征在于，对于含有N个数据样本的大数据集D＝{d1,d2,…,dN}，给定采样比例r，具体包括：步骤1：设定迭代次数t与常数c；从原始数据集中随机采样M＝N*r个样本作为初始代表点集合X＝{x1,x2,…,xM}；并迭代地在更新每个样本的位置，在每一次迭代中，对于代表点样本xi，其新的坐标为：xi′=xi+Σj=1M(xi-xj|xi-xj|)*c|xi-xj|2]]>循环本步骤，迭代t次，转至下一步骤；步骤2：给定阈值τ，将每个原始数据样本划分给与其距离最近的代表点；对于任意代表点xi，都对应着一个属于该代表点的原始样本集合，令该集合为其中包含ki个原始样本；对于每个代表点样本，更新其位置信息；具体来说，对于代表点样本xi，其新位置为：xi′=1kiΣj=1kicj]]>迭代执行本步骤将直到所有代表点的位移量总和小于τ，转至下一步骤；步骤3：使用现有的任意形状聚类算法在采样数据集上进行聚类，并将对代表点数据集的聚类结果映射回原始数据集；具体来说，对于每个代表点xi及其对应的原始样本集合对每一个原始样本都贴上与代表点相同的类别标签。