[发明专利]一种基于总量控制的频繁项集数据挖掘方法

说明书

技术领域

本发明属于数据挖掘技术领域，具体涉及一种基于总量控制的频繁项集数据挖掘方法。

背景技术

关联规则是美国IBMAlmadenResearchCenter的RakeshAgrawal等人于1993年首先提出来的KDD研究的一个重要课题，经过多年的发展，各国的学者提出了众多的关联规则挖掘算法，其中Apriori算法无疑是其中最有影响力的算法之一。

Apriori算法将发现关联规则的过程分为两个步骤：第一步是通过迭代检索出事务数据库中的所偶频繁项集，即支持度不低于用户设定的阈值的项集；第二步是利用频繁项集构造出满足用户最小置信度的规则，其中，挖掘和识别所有频繁项集是该算法的核心，占据了整个计算量的大部分。Apriori算法运用频繁项集的子集必然是频繁项集的思想，通过已知的频繁项集构造更大的项集，并将其称为候选频繁项集，以后只计算候选项集的支持度。

然而,包括Apriori算法在内的许多关联规则挖掘算法在进行频繁项集发现时都是采用人为设定域值的方式，这样对频繁项集挖掘来说就存在以下问题：如果挖掘的最小支持度定得较高,那么覆盖较少数据但却有意义的关联知识将不能被发现；如果最小支持度定得过低,那么大量的无实际意义的数据关联将充斥在挖掘过程中,会大大降低挖掘的效率和得到规则的可用性。数据挖掘是针对海量数据进行的，如何提高算法效率是数据挖掘算法的核心问题。针对以上问题,最早在1996年就有学者提出采用变支持度和变置信度阈值来进行关联规则挖掘的算法，这些算法都是根据属性的重视程度不同，进而在支持度和置信度的计算中的权重也不相同的思想,来进行关联规则挖掘的。

发明内容

本发明的目的在于提供一种根据总量控制指标来确定项集取舍，在减少频繁项集数量的同时，得到有意义的高质量频繁项集，从而消除人为设定域值带来的频繁项集发现的缺陷。

为此，本发明所采取的解决方案是：

一种基于总量控制的频繁项集数据挖掘方法，其特征在于，由以下五步构成：

(1)数据预处理：

根据数据挖掘应用的领域进行相应的归一化、奇异值剔除数据预处理，按照Apriori_gen算法计算候选各项集数量。

(2)确定总量控制指标M和选择因子：

根据数据挖掘的需要，设定频繁项集总量控制指标M，选择因子为候选项集序号的倒数，总量控制指标M是进行频繁项集数据挖掘感兴趣的频繁项集范围大小，选择因子为调控指标。

(3)频繁项集总体数量生成：

扫描数据库生成候选项集C，根据候选项集总数量N和总量控制指标M，确定频繁项集总体数量Q＝N×M，若出现小数，则按照向上取整原则，进而根据Q的数量来确定频繁项集数量；

(4)频繁一项集生成：

根据频繁项集总体数量Q和选择因子确定频繁一项集数量Q₁＝N×M×(1/N₁)，其中，N₁为候选一项集数量；

(5)循环处理：

第k步，根据k-1步频繁的k-1项集L_k-1，按照Apriori_gen产生候选的k项集C_k集，根据候选k项集数量N_k，确定频繁k项集数量Q_k＝N×M×(1/N_k)，进而根据Q_k的数量确定频繁k项集，若出现候选项集只有一项，则直接定义为频繁项集。

本发明的有益效果为：

本发明提出一种新型的基于总量控制和选择因子的频繁项集数据挖掘算法TQ-Apriori算法(TotalQuantityApriori)。此算法应用Apriori算法的基本思想，采用总量控制和选择因子进行频繁项集数据挖掘，即首先采用总量控制指标和选择因子进行频繁项集的数量确定，然后根据确定的频繁项集确定相应支持度。本发明TQ-Apriori算法能够很好的进行频繁项集发现，发现的频繁项集质量上为支持度相对较高的那部分项集，而数量上则可大幅度减少。

附图说明

图1是TQ-Apriori算法发现频繁项集过程；

图2是TQ-Apriori算法流程图。

具体实施方式

为了说明本发明TQ-Ariori算法的有效性，故选取了Apriori算法发现频繁项集的例子。事务数据库所有项集如表1所示，数据库中有12个事务。

表1事务数据库所有项集