[发明专利]基于MapReduce的概率频繁项集挖掘方法

说明书

技术领域

本发明涉及计算机数据发掘方法，特别是基于MapReduce的大规模不确定数据概率频繁项集的近似挖掘方法。

背景技术

近年来，由于一些新的应用，比如：传感器网络的检测、移动物体的搜索、蛋白间相互作用的网络分析以及数据的集成和数据的清洗等等，不确定数据的挖掘成为了数据挖掘领域的一个新的热门研究话题。不确定数据挖掘主要包括聚类、分类、关联规则的挖掘、孤立点检测等方面，其中频繁项集的挖掘是数据挖掘领域的一个基础。因此，不确定数据中的概率频繁项集的挖掘成为了研究的热点。例如目前比较流行的无线传感网络，无线传感网络搜集了大量的数据。然而由于传感器固有的不确定性，搜集到的数据通常是不精确的。因此，如何挖掘不确定的概率数据中隐藏的规则是很必要的。然而在传统数据的频繁项集的挖掘过程中，每一事物包含的项是确定的，但是在很多不确定数据中，不确定性造成了挖掘结果的复杂性，因此不确定数据中有效的概率频繁项集的挖掘方法是研究的重要课题。而面对海量的数据，传统的单机模式下的概率频繁项集的挖掘方法往往难以满足要求，开源的Hadoop平台为许许多多的数据挖掘方法提供了沃土。

授权中国专利“一种基于Hadoop的频繁闭项集挖掘方法”(102622447A)和“一种基于MapReduce模型的并行关联方法”(103150163A)也是基于Hadoop平台MapReduce模型下，关于频繁项集的挖掘方法。但是，其所关注的问题还是在确定数据中的频繁项集，所求解的频繁项集也是基于项集在所有事务中的支持度，而非项集的频繁概率，该传统方法根本无法处理不确定数据。另有专利“一种关联规则挖掘方法及其系统”(101799810B)也是针对确定数据中频繁项集的挖掘，但一方面该方法因为没有基于MapReduce的并行化不能处理大数据，另一方面该方法不能处理不确定数据，目前已知的关于频繁项集挖掘的专利都不适用于复杂的不确定数据中概率频繁项集的挖掘。

发明内容

发明目的：本发明为了解决现有技术中的问题，提出了一种基于MapReduce的概率频繁项集挖掘方法，通过Hadoop的MapReduce分布式框架下，采用UApriori方法基础上的一种概率频繁项集正态近似挖掘方法，从而有效解决大规模不确定数据下，概率频繁项集快速准确挖掘的问题。

发明内容：本发明公开了一种基于MapReduce的概率频繁项集挖掘方法，包含以下步骤：

1)，读入存储在分布式文件系统HDFS上的不确定数据集T1，该不确定数据集共包含N个事务，N>1；

2)，在Map端依次处理不确定数据集T1中的每一个事务，事务中包含不同的项以及该项在事务中出现的概率值，项是事务中记录数据的基本单元，将事务的每一项及其概率值映射成<key,value>键值对，其中key代表项集，项集是由项组成的集合，value代表该项集在一个事务中的概率值，以事务t1{(B,1.0)；(C,0.5)；(D,0.2)；(E,0.5)}为例，t1中包含5个项B,C,D,E，每一项后面的数字，表示该项出现在事务t1中的概率值，对事务t1来说它将会生成<{B},1.0>,<{C},0.5>,<{D},0.2>和<{E},0.5>的<key,value>键值对，此时的项集key中都只含有1个项，为1项集，当项集中含有k(k≥2)个项时，称之为k项集；

3)，在Reduce端接收Map端的输出，依次处理每个项集key，利用正态近似方法计算项集key的频繁概率，判断该项集key是否为概率频繁项集，若是，则以项集key的频繁概率作为项集key对应的value的值，输出<key,value>键值对，否则舍去当前项集key，继续处理下一个项集，Reduce输出关于概率频繁1项集的<key,value>键值对；

4)，将3)中所输出<key,value>键值对中的项集key按照value值由大到小进行排序，由此生成列表F_list，列表F_list为概率频繁1项集的集合；

5)，读入存储在分布式文件系统HDFS上的不确定数据集T1，并且将每个事务中的项及其概率值，按照这些项在列表F_list中的顺序进行排序，删去不在列表F_lsit中的项及其概率值，生成处理后的不确定数据集T2，将T2存储在分布式文件系统HDFS上；