[发明专利]基于Spark平台采用两次评价的加权选择集成三支聚类方法

说明书

本发明请求保护一种基于Spark平台采用两次评价的加权选择集成三支聚类方法，主要包括如下步骤：步骤1，对大数据集进行分区和管理并生成对应的弹性分布式数据集(RDD)；步骤2，使用基于Spark的K‑Means聚类算法对每个分区数据进行聚类，生成多个不同的聚类成员；步骤3，通过两次评价，构造新的评价函数以及加权选择策略，对聚类成员进行选择，删除聚类效果不佳的聚类结果，构成新的聚类成员；步骤4，将聚类成员进行集成，构造一个加权的投票矩阵，根据三支决策规则进行聚类划分，得到最终的三支聚类结果。本发明大幅减少了算法运行时间，提高了算法效率。

技术领域

本发明属于大数据处理和数据挖掘技术领域，尤其是涉及一种基于Spark的三支选择性集成方法，三支决策领域。

背景技术

随着社会信息化和网络化的高速发展，数据每天都以爆炸式增长，面对海量数据的产生，大数据也吸引了越来越多的关注。医疗领域、生物科学领域、金融领域、互联网等领域，日常运营中生成、累积的数据，已经不能用GB或者TB来衡量。截止2012年，数据量已从TB级别跃升到PB、EB甚至ZB级别。这些数据蕴含着很多价值，而对这些数据的分析挖掘能够得到的新的信息和知识，对各个领域将有着广泛的应用，如电子商务、O2O、物流配送等，都是利用大数据进行发展的领域，这些创新的运营模式，正在协助企业不断地发展新业务。因此对大数据的有效处理是非常必要的，是当下广阔市场的强需求。

聚类集成技术本身具有并行化的思想，能够处理较大数据，但是单机算法的局限，使得以往聚类集成方法不能够处理大规模数据。Spark是一个开源大数据生态圈，由美国加州大学伯克利分校AMP实验室开发的一种基于内存的分布式计算系统。相比MapReduce，Spark拥有MapReduce的优点的同时，减少了MapReduce各个Job的中间计算保存环节，大大减少了计算时间，以及数据处理的效率。Spark的核心是弹性分布式数据集(RDD)，它是一个抽象的概念，分布于各个计算节点存储于内存中的数据对象集合，RDD分为转换和动作两种操作，可以对数据对象进行函数处理。

三支决策思想的提出，从另一个角度定义了现实生活中存在的各种现象，给出了新的思考问题和解决问题的方式。研究者们将三支决策思想转换为一个理论体系，广泛适用于各个领域，如心理学领域、医疗诊断领域、管理学领域等等。对于三支聚类，主要体现于对聚类过程的三支决策和聚类结果的三支划分。以往的聚类结果，通常用一个集合表示，从决策角度来看，这属于一种二支的表示方式，即集合中的某个数据对象要么属于这个类簇，要么不属于这个类簇。这种明确二支划分数据对象的缺点是，不能够表现出那些可能属于这个类簇的数据对象，因而不能直观地表现出对象对构建类簇的影响程度。因为用三支决策的类簇表示更为合理，将确定属于该类簇的数据对象划分到类簇的核心域部分；将可能属于该类簇的数据对象划分到类簇的边缘域部分；将确定不属于该类簇的数据对象划分到类簇的琐碎域部分。

选择性集成是聚类集成的一种扩展，选择性集成思想在于删除差的基聚类器，选择出具有准确度高、差异性大的聚类成员，以使得最终得到的聚类结果具有更高的质量以及鲁棒性。选择性集成的优势在于，能够剔除冗余，改善基聚类器的质量；减少聚类集成压力；优化最终聚类结果。

发明内容

本发明旨在解决以上现有技术的问题。提出了一种有效提高聚类集成结果的质量，能够为用户提供一个鲁棒性更高、扩展性更强的数据挖掘策略，提高算法效率，以满足用户需求的方法。本发明的技术方案如下：

一种基于Spark平台采用两次评价的加权选择集成三支聚类方法，其包括以下步骤：

步骤1，对大数据集进行分区管理并生成对应的弹性分布式数据集RDD；

步骤2，使用基于Spark的K-Means聚类算法对每个分区的数据进行聚类，生成多个不同的聚类成员；

步骤3，通过两次评价，构造聚类成员新的评价函数以及加权选择策略，对聚类成员进行选择，删除聚类效果不佳的聚类结果，构成新的聚类成员；