[发明专利]一种基于MapReduce的大数据聚类集成方法

摘要

本发明公开了一种基于MapReduce的大数据聚类集成方法，包括如下步骤：步骤1，大数据切分和管理；步骤2，采用多重K的聚类集成算法生成多个基聚类；步骤3，获取集成关系；步骤4，确定最终聚类。本发明首先对原始数据进行分割，用切分好的非空小数据块代替原数据中的点集进行聚类，减少数据规模和数据处理所耗费时间。本发明采用云计算MapReduce编程模型，使得聚类过程在分布式集群上并行完成，克服了单机算法在存储和计算性能上的限制，从而有效处理大数据，不断地从中挖掘出有价值信息，为用户提供可定制性和可扩展性，并优化了算法执行效率，适用处理大数据环境下的数据处理、分析与计算，能够满足不同用户的需求。

主权项

一种基于MapReduce的大数据聚类集成方法，其特征在于，包括如下步骤：步骤1，大数据切分和管理：将大数据切块后，存储到云平台的分布式文件系统HDFS中，Hadoop负责管理切分后的数据块，其key值为所属数据块Di，i＝1,2,…n，n为划分后的数据块的数量；步骤2，采用多重K的聚类集成算法生成多个基聚类：将Kmeans算法应用到大数据集上M次，每次运算时都从一个预先定义好的k的分布S中随机采样一个数ki，用ki作为kmeans的预定义簇的数目，从而得到n个基聚类结果，其中S为两个整数之间的均匀分布，S被置为(min(5,[N/4],min(20,[N/2]))，N为数据点的数目，[x]表示对x四舍五入取整；步骤3，获取集成关系：构造共协关系矩阵，统计M个基聚类结果中两个数据点被划分到同一簇中的次数，用该次数作为权值赋给关系矩阵中对应的元素；步骤4，确定最终聚类：对同机器各聚类结果采用一致性方案进行Reduce，得到该机器的最终集成聚类结果。