[发明专利]Hadoop框架下高维海量数据GMM聚类方法

说明书

技术领域

本发明属于计算机技术领域，更进一步涉及数据挖掘领域中Hadoop框架下高维、海量数据的高斯混合模型(Gaussian Mixtures Model，GMM)聚类方法。本发明可以方便、高效的完成高维、海量数据地的聚类，克服单机模式下海量数据处理的低效，维数灾难问题。

技术背景

海量数据处理的过程中广泛采用的一种计算框架MR“Dean J，Ghemawat S.MapReduce：simplified data processing on large clusters[J].Communications of the ACM，2005，51(1)：107-113”该计算框架是由Google公司发明，近些年新兴的并行编程模式，它将并行化、容错、数据分布、负载均衡等放在一个库里，将系统对数据的所有操作都归结为两个步骤：Map(映射)阶段和Reduce(化简)阶段，使那些没有多少并行计算经验的开发人员也可以开发并行应用，对海量数据进行处理。

Clustering with Gaussian Mixtures“Andrew W.Moore Professor，School of Computer Science Carnegie Mellon University”所提出的GMM(高斯混合聚类模型)是单一高斯概率密度函数的延伸。通过多个单高斯模型的线性组合来组成一个混合高斯模型。通过EM算法对模型的参数不断进行调整从而得到能够描述数据的聚类模型。该方法存在的不足是：在聚类过程中不能有效应对海量数据，算法效率受到时间，空间复杂度的限制。

上海海事大学申请的发明专利“一种基于在线分裂合并EM算法的高斯混合模型聚类方法”(专利申请号：201010172604.6，公开号：CN102081753A)。该专利申请公开了一种基于在线分裂合并EM算法的高斯混合模型聚类方法，该方法基于在线分裂合并的EM算法对Ueda等人和Demsper等人的算法进行改进，因此，该聚类方法继承了EM算法的完备性和收敛性特征，也继承了分裂合并算法对局部收敛性的改进，通过引入时间序列参数，提出了增量在线分裂EM训练方法，由此实现了增量式的期望最大化训练。该聚类方法能够逐样本在线更新GMM模型参数，克服了批处理数据要求的离线训练的局限性。但是，该聚类方法仍然存在不足之处是，该聚类方法并没有解决大规模数据处理中的维数灾难问题，可扩展性及伸缩性不强。

发明内容

本发明的目的在于克服上述现有技术的不足，将海量数据的聚类问题架构在分布式平台上，提出一种基于Hadoop框架的高维、海量数据聚类方法。在聚类的过程中，利用Hadoop框架中MapReduce运算模型的特点，对聚类中的可并行部分用Map并行方法处理，计算均值和方差时采用两个Map/Reduce分别计算。

为实现上述目的，本发明包括如下步骤：

(1)组建局域网

将多台计算机连接到同一局域网中，每台计算机作为一个节点，建立能够相互通信的集群；

(2)建立Hadoop平台

对集群中的每个节点配置Hadoop0.20.2文件，通过文件中属性参数dfs.namenode和dfs.datanode的设置，使集群中包含一个名字节点和多个数据节点；通过文件中属性参数mapred.jobtracker和mapred.tasktracker的设置，使集群中包含一个调度节点和多个任务节点，建立开源的Hadoop平台；

(3)上传数据到集群

使用Hadoop分布式文件命令dfs-put将待聚类数据集上传至Hadoop平台的各个节点上；

(4)初始聚类

采用KMeans聚类方法，对集群中节点上的数据进行初始粗略聚类，得到初始的聚类；

(5)计算各聚类的参数和判别函数

5a)计算初始的聚类每一个类的均值；

5b)统计初始聚类每一个类中数据的个数，用统计的数据个数除以待聚类数据集中数据的总数，得到初始聚类每一个类的权重；

5c)计算初始的聚类每一个类的方差；

5d)计算判别函数

按照下式计算高斯概率密度值：