[发明专利]基于Spark平台采用两次评价的加权选择集成三支聚类方法

权利要求书

1.一种基于Spark平台采用两次评价的物流配送数据聚类方法，其特征在于，包括以下步骤：

步骤1，对物流配送大数据集进行分区管理并生成对应的弹性分布式数据集RDD；

步骤2，使用基于Spark的K-Means聚类算法同时对每个分区的数据进行聚类，生成多个不同的聚类成员；

步骤3，通过两次评价，构造聚类成员新的评价函数以及加权选择策略，对聚类成员进行选择，删除聚类效果不佳的聚类结果，构成新的聚类成员；

步骤4，将聚类成员进行集成，构造一个加权的投票矩阵，根据三支决策规则进行聚类划分，得到最终的三支聚类结果。

2.根据权利要求1所述的基于Spark平台采用两次评价的物流配送数据聚类方法，其特征在于，所述步骤1对大规模数据进行分区管理具体包括步骤：首先将大规模数据集存储在分布式文件系统HDFS下；然后初始化环境变量SparkContext，再通过函数textFile()将数据集转换成弹性分布式数据集RDD形式，创建分区个数numPratitions，用函数getPartition(key:Any)对输入的key做计算，返回key的分区ID。

3.根据权利要求1所述的基于Spark平台采用两次评价的物流配送数据聚类方法，其特征在于，所述步骤2使用基于Spark的K-Means聚类算法对每个分区的数据进行聚类，生成多个不同的聚类成员具体包括步骤：

通过设置类簇数目k以及不同的迭代次数，将类簇个数k映射到每个分区，运行算法，输出键值对(id,x)，其中id标记了数据对象x的簇号，然后合并分区得到聚类结果，得到m个不同的聚类成员。

4.根据权利要求3所述的基于Spark平台采用两次评价的物流配送数据聚类方法，其特征在于，所述K-Means聚类算法具体包括：

Step1:对输入数据集进行分区，得到K个分区的RDD1；

Step2:在前k个分区中，每个分区随机选择一个点作为初始聚类中心，存储在RDD2中；

Step3:根据欧式距离公式计算每个数据对象与聚类中心的距离，并以键值对(xi,e)的形式存储在RDD3中；

Step4:对RDD3进行Reduce操作，对数据对象进行类簇划分，并以键值对(id,xi)的形式存储在RDD4中，id记录每个数据对象的簇号；

Step5:在第RDD5中计算每个类簇的平均值，得到新的聚类中心点，其中RDD1-RDD5分别表示第一弹性分布式数据集-第五弹性分布式数据集；

Step6:循环迭代Step3至Step5，直到达到最大迭代次数，输出聚类结果。