[发明专利]一种基于MapReduce模型的并行关联方法

权利要求书

1.一种基于Hadoop的并行关联方法，其特征在于具体步骤如下：

第一步，对数据集进行预处理，将所有的数据值规约在有限的离散集合中，并设置最小支持度fF和最小置信度fS；

第二步，在MapReduce编程框架下，特殊处理1项集，把整个数据集作为输入文件，实现一个map类来统计数据中候选项的计数，实现一个reduce类来合并由map进程返回的计数，然后处理第一个任务，输出作为一个文件，包含1项集的计数m和总记录个数n；

第三步，利用MapReduce分布式编程模型来在集群中执行分布式计算，采用递推式的方式来求得k项集，直到第k项集为空为止； 

第四步，利用公式                                               来计算置信度，如果置信度大于最小置信度fS，该规则就是强规则。

2.根据权利要求1所述的基于Hadoop的并行关联方法，其特征在于：第三步中所述的利用MapReduce分布式编程模型来在集群中执行分布式的计算，具体实现过程如下：

第一步，安装Hadoop集群，并且将数据分为M份，M大于整个Hadoop集群的处理单元数；

第二步，特殊处理1项集，把整个数据集作为输入文件，编写一个map类来实现从数据集中寻找相同的数据项并计数，编写一个reduce类来实现计数，在实验中采用hadoop自带的类LongSumReducer，在hadoop框架中设定map类和reduce类，然后处理第一个任务；输出作为一个文件，包含1项集的计数m和总记录个数n；

第三步，主进程读取第一个任务的输出文件，利用公式计算出支持度，如果该支持度不小于最小支持度fF的话，那么该项就包含于频繁1项集；

第四步，为第k（k>=2）个任务设置map类和reduce类，将分割的数据集DSi作为参数传递给该任务，利用map/reduce框架来执行任务，输出为一个列表，该列表中包含（key,value）项，其中key为项目的名称，value为计数；

第五步，待第k个任务完成后，主进程读取第k个任务的输出列表，计算并对比其支持度，获得了频繁k项集，然后在整个数据集DS中寻找包含k项的项目，如果其长度等于k+1的话，该项目就属于k+1项侯选集，如果k+1项候选集为空，那么结束该步骤；如果候选集为非空，那么执行第四步，设置k值等于k+1，开始下一轮的循环；

第六步，计算最后所获得的最大k项集的置信度，根据置信度确定关联规则。