[发明专利]一种基于Spark平台的多尺度关联规则方法

摘要

本发明提供了一种基于Spark平台的多尺度关联规则方法，该方法包括：在物理服务器上构建具有虚拟机的HDFS文件系统和Spark平台，并将数据集上传到HDFS文件系统中；Spark平台从HDFS文件系统中读取数据并转换为弹性分布式数据集RDD，并将其存储在内存中；选择多个基准尺度划分数据集在Spark平台上并行运算，得到基准尺度数据集的频繁项集；进而通过尺度转换机制挖掘目标数据集的关联规则，并得到算法的精确度。本发明将传统关联规则算法同尺度转换机制结合，只需对基准尺度数据集进行一次挖掘就能得到目标尺度数据集下相关知识，大大提升了在尺度数据集上运算的精确度和效率，同时在Spark平台上实现进一步提高了数据处理速度。

主权项

1.一种基于Spark平台的多尺度关联规则方法，其特征在于，包括以下步骤：步骤1：在物理服务器上构建具有虚拟机的HDFS文件系统和Spark平台，并将数据集上传到HDFS文件系统中；步骤2：通过客户端向Spark平台提交作业，Spark平台从HDFS文件系统中读取数据并转换为弹性分布式数据集RDD，并将其存储在内存中；步骤3：选择多个基准尺度BS，确定每个基准尺度的数据集dsBS,由于每个RDD对应多个分区partition，所以在每个分区运行一个基准尺度数据集，各个分区并行运算；步骤4：各个partition中以最小支持度min_sup挖掘各个基准尺度数据集，得到各个基准尺度数据集频繁项集的集合FIi，并求取上述若干频繁项集集合的并集FIC作为目标尺度数据集dsSO频繁项集的候选项集集合；步骤5：通过克里格法确定基准尺度数据集对目标尺度数据集的权重矩阵λ，用于估算目标尺度数据集中频繁项集的支持度；步骤6：筛选各个分区目标尺度数据集最终的频繁项集，生成关联规则，并计算各个分区的算法精确度，进而求取精确度的均值作为最终结果。