[发明专利]一种基于Spark的大数据关联规则挖掘方法

说明书

本发明提出了一种基于Spark的大数据关联规则挖掘方法。该方法采用Spark运行框架，通过读取用户给定的数据集地址读取数据集并转换成垂直数据库，对转换后的垂直数据库进行读取并过滤得到频繁1‑项集。对频繁1‑项集求交集得到频繁2‑项集，整个过程使用位图存放TidSet来加快求交集的效率。将频繁2‑项集使用前缀划分原则得到频繁K‑项集。数据预处理和前缀划分原则这两种方法使本发明运行效率更快，对于大型数据集也可以有很好的运行效率。

技术领域

随着当今时代互联网行业的迅速发展，数据的累积速度已远远超过以往的任何时候，我们进入了大数据时代。在大数据时代，数据挖掘成为了一项热门技术，在数据挖掘领域中，关联规则挖掘是被广泛研究的一种重要模型，基于关联规则的数据挖掘目的是想要找出数据集中的频繁模式，也就是多次重复出现的模式和并发关系。关联规则最初提出的动机是针对购物篮分析(Market Basket Analysis)问题提出的。关联规则挖掘技术有着非常广泛的应用，如金融行业，零售业市场营销，生物制药，环境保护，图片分类，网络流量分析和在线学习等领域。本发明提出了基于Spark的大数据关联规则挖掘方法，更加的适用于大数据时代下的数据挖掘。

背景技术

数据挖掘是在大型数据存储库中，自动的发现有用信息的过程。良好的数据挖掘方法可以高效快速的发现数据间存在的规律从而得到有用信息。关联规则法是数据挖掘经典方法之一。传统的关联规则方法都是在本地运行的，随着大数据时代的到来，本地运行关联规则方法速度特别慢，无法快速高效的挖掘出数据间存在的联系，所以需要将现有的方法转移到一个分布式平台上运行。所以将本发明使用Spark这个基于内存计算的分布式平台中。当前的经典关联规则挖掘方法在计算大规模数据时也存在速度慢的问题，对于Apriori方法，需要多次读取数据库，耗费大量IO；FP-Growth方法只需读取两次数据库，但是在方法中间会产生树型结构，占用大量内存；Eclat方法只需读取一次数据库，但是大型数据求交集浪费时间。对于经典方法存在的缺陷，需要将经典方法进行改进才能适用大数据集挖掘。因此，本发明提出了基于Spark的大数据关联规则挖掘方法，更加的适用于大数据时代的数据挖掘。

Spark诞生在美国加州大学伯克利分校的AMP实验室，是一个用来实现快速通用的集群计算的平台。他可以实现交互式查询和流处理；Spark是在内存中计算，整个编程都是基于RDD(弹性分布式数据集)的，将中间结果保存在内存中，这样对于大规模的数据集处理速度也会很快，即使是复杂的必须在磁盘上的计算，效率仍然很高，从而确定选用Spark平台。现有方法中的Eclat方法采用的数据结构是垂直型数据结构，他只需要读取一次数据库，但是在大数据集下求交集的运算代价会很大，所以本发明提出的方法是在Spark平台下对Eclat方法进行改进。

发明内容

为了解决大数据下关联规则挖掘问题，本发明公开了一种基于Spark的大数据关联规则挖掘方法，能够提高挖掘大数据集时的运行速率。

为此，本发明提供了如下技术方案：

一种基于Spark的大数据关联规则挖掘方法，其特征在于对数据进行预处理操作和前缀划分原则。预处理操作包含数据库形式转换，过滤操作以位图保存TidSet操作。对于数据库形式转换，就是将水平数据库转换成垂直数据库形式，将数据库操作转换成集合计算；对于过滤操作，就是过滤不满足要求数据集。使用过滤操作去除掉所有不满足要求得数据，得到有效数据集，从而降低要执行的数据集的大小，加快运行效率；对于位图保存TidSet操作，就会在预处理过程直接将每个事务所对应的TidSet用位图来保存，便于后续提高求交集的速度，提高运行效率。计算频繁K-项集时最重要的就是采用前缀划分原则，该原则可以大大减少要遍历的数据集的大小，还能保证不丢解，从而提高运行效率。具体包括：

数据库形式转换：数据库存储的数据形式是水平数据库形式，即<Tid:itemID>形式，将其转化成垂直数据库形式,即<itemID:Tid>形式，这样就可以将数据库之间的运算转换到集合之间的运算。