[发明专利]一种大规模数据的关联规则挖掘方法

说明书

技术领域

本发明涉及分布式计算与数据挖掘技术。

背景技术

海量数据管理相关研究已经不是一个新话题了，只是对于“海量”的定义随着存储设备的飞速发展，也在不断地发生变化。

对于大规模数据，数据库管理系统通过Hash,B+‘Iree等各种手段对数据进行索引，能够有效减少外存读写开销，提高数据查询效率。为了处理更大的数据量，并行数据库系统(Parallel Database System，简称PDBS)，分布式数据库系统(Distributed Database System，简称DDBS)相继出现，通过网络连接将多个数据处理节点组成一个整体，从而完成有效处理海量数据的任务。

关联规则由Agrawal等人于1993年在文献中提出，目的是是从大量数据（记录）中发现事物（项）的关联和相关联系。

关联规则挖掘过程主要包含两个阶段：第一阶段，将项目组集合中出现的频率（支持度）大于最小支持度的项目组判定为频繁项集（Frequent Itemsets）；第二阶段，将大于最小置信度的频繁项集对应关联规则判定为强关联规则（Association Rules）。

Apriori算法是一种最有影响的挖掘频繁项集的算法，其思想是用已知的频繁项集推导其他频繁项集（利用K-项集来产生(K+1)-项集）。先找出频繁1-项集，记为L₁,这些频繁项集出现的频率至少和预定义的最小支持度一样；然后利用L₁来挖掘L₂，使用之前找到的已发现频繁项集产生只包含该频繁项集的候选项集，只有那些大于最小支持度的候选项集才被留下来，作为频繁2-项集L₂；不断如此循环下去直到无法发现更多的频繁K-项集为止。Apriori算法的实现过程中会产生大量的候选项集，导致数据挖掘运算时间长，是基于Apriori算法的一大缺点。

发明内容

本发明所要解决的技术问题是，提供一种能更高效进行大规模数据的关联规则挖掘方法。

本发明为解决上述技术问题所采用的技术方案是，一种大规模数据的关联规则挖掘方法，包括以下步骤：

1）对输入数据进行基于相似度的分类预处理，使得同一分类中的记录间具有高相似度；

2）对每个分类中的数据进行基于Apriori算法的挖掘，得到各分类的频繁项集；

3）合并所有分类的频繁项集，将大于最小置信度的频繁项集对应关联规则判定为强关联规则。

本发明基于相似度进行分类后，将相似度小的数据分离，在频繁项集挖掘时是对每一种类型进行独立的挖掘，能够减少产生不必要的关联性小的候选项集，从而提高整体数据的关联规则挖掘效率。另外，当增加新的输入数据时，仅需对该新增加数据所在的分类中更新频繁项集，无需再对所有数据进行处理，具有更好的扩展性。

分类预处理的具体方法是：

1.1在输入数据中选择k个条记录作为分类的基准点；

1.2扫描数据，并求出每一条记录与各基准点的相似度，根据将每条记录分配至与其相似度最高的基准点所对应的分类上；扫描完全部数据后，形成各分类对应区域；与一条记录相似度最高的基准点有1个或1个以上；

1.3分别对各分类对应区域的记录进行平均，利用平均后的结果确定新的该区域的新的基准点，判断区域的基准点是否变化，如是，跳转到步骤1.2，如否，分类结束。

进一步的，为了进一步缩短关联规则挖掘时间，步骤1）与步骤2）均使用多个处理器并行处理。

本发明的有益效果是，通过基于相似度的预处理，减少产生不必要的，关联性小的候选项集，提高整体数据处理效率，进一步的，通过分布式系统并行完成频繁项集的挖掘，进一步改善了系统运行的时间，满足了处理大规模数据的用户需求。

附图说明

图1为利用相似性进行数据分块的流程图。

具体实施方式

输入的海量数据由大量记录组成，每一条记录包含有1个或1个以上的项，每一条记录也是1个或1个以上项的集合（项集合），关联规则挖掘就是找出不同记录中关联度高的项与项之间联系。本实施例方法利用Hadoop分布式文件系统和并行的Aprior算法实现大规模数据的关联规则挖掘，具体步骤为：

1）对输入数据进行基于相似度的分类预处理，使得同一分类中的记录间具有高相似度；

2）对每个分类中的数据进行基于Apriori算法的挖掘，得到各分类的频繁项集；