[发明专利]基于共享路径的FP-Growth数据挖掘方法

说明书

技术领域

本发明涉及数据挖掘领域，具体涉及一种基于共享路径的FP-Growth数据挖掘方法。

背景技术

Apriori算法作为关联规则算法的经典，需要基于对数据库的重复扫描以产生大量候选集。为了解决Apriori算法存在的数据库重复扫描问题，Apriori-Cube算法应运而生。该算法主要进行数据立方体扫描，能有效减少数据扫描次数，但是在立方体很大或支持度很小的情况下，算法运行时间急剧增长。为此，改进算法不断涌现，如实用性较强的FP-Growth算法。随着数据集规模急剧扩大至PB甚至TB级，单节点机器的内存和计算能力不再能够存储和计算FPTree(FrequentPatternTree，频繁模式树)，从而引发了内存溢出与大量通信问题。于是出现了基于多线程的并行FP-Growth算法，由于其无法解决集群工作节点之间的通信开销与故障恢复问题，也没有解决大规模数据集带来的内存瓶颈问题，并行性能较差；基于MapReduce的FP-Growth算法(PFP)，解决了通讯开销问题，并没有对算法本身进行改进；基于PFP的PARMA算法基于Hadoop框架，通过缩减事务集的大小换取时间的减少，却缺乏负载均衡方面的考虑，且只停留在设计层面，并无实际应用。

当处理的数据集增加到一定的程度时，FP-Growth算法会出现以下几个问题：

(1)逐条且重复地对整个数据库进行扫描的方式，导致数据库时间和空间开销随着数据规模的大小呈现正比增长趋势，严重影响诊断速度；

(2)当数据集规模达到一定程度时，假如原始FPtree分支较多，或者很长，就会构造出大量条件FPTree，耗时长、内存占用大；

(3)算法递归生成条件数据库与FPTree，其中FPTree自顶向下生成，而模式挖掘却采用自底向上的生成顺序。挖掘时需要递归构造FPtree，从而产生大量频繁模式基，由于对同一路径存在多次重复遍历，迭代次数和指针都增多，占用空间较大。事务平均路径越长，算法适应性越差。

发明内容

为了提高FP-Growth算法的伸缩性和挖掘效率，本发明提出了一种基于共享路径的FP-Growth数据挖掘方法。

基于共享路径的FP-Growth数据挖掘方法，包括以下步骤：

S1、按照挖掘需求扫描OLAP数据分析生成的数据立方体Cube，得到相应的Cube表；

S2、数据分片处理：将事务集拷贝到HDFS上，由HDFS将事务集划分为连续的Block并保存相应副本，将各个Block分散存储到N个节点上；

S3、扫描Cube表，构建频繁1_项集表F1List，F1List按照支持度降序排列；

S4、均衡划分F1List得到长度为M的新的列表Glist；

S5、再次扫描Cube表，根据Glist重新将事务集划分为M组，每组重新编号，新的编号与Glist组号一一对应；

S6、调用一次MapReduce实现并行，挖掘完已有FPTree对应的Glist_i中所有事务组，得到Glist内包含的所有频繁模式。

所述S2的过程由Hadoop自动完成。

所述S4的具体过程为，将F1List划分为M组，每组分配一个组号i(1≤i≤M)，i对应的组记作Glist_i。

本发明采用Hadoop框架实现底层并行，采用MapReduce计算框架提高运行效率，采用OLAP(OnlineAnalyticalProcessing，联机分析处理)数据立方体解决数据库空间开销大的问题；采用FPTree共享路径的方法解决内存占用大的问题并压缩遍历次数，只需遍历FPTree一次便能找出所有频繁1_项集对应的所有条件模式基，从而避免了对相同路径的重复遍历，将时间复杂度降低到O(N)。此外，本发明无需项头表和同向指针，进一步节省了内存空间。

附图说明

图1为云计算环境下海量数据挖掘的总体架构图；

图2为本发明并行的PFP数据挖掘方法框架图；

图3为本发明项头表和频繁模式树结构示意。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明基于共享路径的FP-Growth数据挖掘方法包括6个步骤，总体框架如图2所示。

算法步骤如下：