[发明专利]一种基于MapReduce模型的并行关联方法

摘要

本发明属于数据挖掘技术，特别是一种基于MapReduce模型的并行关联方法。该方法首先对数据进行预处理，设置最小支持度和最小置信度；然后经特殊处理1项集，求得第1项集和第2项集；然后配置第k项集，执行后再统计出k项集的计数，通过主进程读取第k个任务的输出，计算支持度，获得频繁k项集和k+1项候选集，并设置k=k+1，开始循环，直至k+1项候选集为空。本发明与现有技术相比，其显著优点：（1）利用Map/Reduce编程模型，能够执行分布式的计算，充分地利用集群的效率；（2）使用Map/Reduce能够有效地进行负载均衡；（3）使用Map/Reduce能够有效的避免分布式的节点失效。

主权项

1.一种基于Hadoop的并行关联方法，其特征在于具体步骤如下：第一步，对数据集进行预处理，将所有的数据值规约在有限的离散集合中，并设置最小支持度fF和最小置信度fS；第二步，在MapReduce编程框架下，特殊处理1项集，把整个数据集作为输入文件，实现一个map类来统计数据中候选项的计数，实现一个reduce类来合并由map进程返回的计数，然后处理第一个任务，输出作为一个文件，包含1项集的计数m和总记录个数n；第三步，利用MapReduce分布式编程模型来在集群中执行分布式计算，采用递推式的方式来求得k项集，直到第k项集为空为止； 第四步，利用公式来计算置信度，如果置信度大于最小置信度fS，该规则就是强规则。