[发明专利]一种海量数据的频繁序列挖掘方法

摘要

本发明公开了一种海量数据的频繁序列挖掘方法，首先用户输入时间序列数据，计算每一个项的频率，并构造频繁项集合，其次对于所有频繁项，在Map构造ω‑等价的划分，然后对于构造的划分在Reduce进行独立的挖掘得到频繁序列，最后将所有的频繁序列集合并在一起，并过滤掉将重复的序列输出。本发明提供了对输入数据库的一种划分方法，能够有效的提升算法效率；本发明在挖掘阶段，可以采用任意一种现在已经成型的挖掘算法来进行挖掘，容易实现。 1

主权项

1.一种海量数据的频繁序列挖掘方法，其特征在于，包括以下步骤：

1)用户输入时间序列数据，获得数据的基本统计信息，计算每一个项ω∈Σ的频率，并且对于频繁项要构造集合F_σ,0,1(D)，其中，ω表示输入的子序列，Σ为全集，表示输入所有时间序列集合，D表示输入时间序列数据库，下标σ表示支持度阈值，0是间隔阈值，1是长度阈值；所述频繁项是指，对于σ>0，如果满足f_γ(S,D)≥σ，则序列S是(σ,γ)–频繁的，其中，f_γ(S,D)表示序列S的频率；

2)对于Σ中所有频繁项，在Map构造ω‑等价的划分P_ω；

3)对步骤2)构造的划分P_ω在Reduce进行独立的挖掘，得到F_σ,γ,λ(P_ω)，其中，P_ω是以ω为中心项的划分，F_σ,γ,λ(P_ω)是P_ω当中所有长度不超过λ且满足(σ，γ)‑频繁的序列；

4)将步骤3)得到的每个频繁项的F_σ,γ,λ(P_ω)集合并在一起，将重复的序列过滤掉即得到最后的输出。

2.根据权利要求1所述的一种海量数据的频繁序列挖掘方法，其特征在于，所述步骤1)中，数据的基本统计信息包括时间序列数据的平均长度、长度最大值、序列总数、项总数、不同的项数、总字节数。

3.根据权利要求1所述的一种海量数据的频繁序列挖掘方法，其特征在于，所述步骤1)通过单次MapReduce作业完成。

4.根据权利要求1所述的一种海量数据的频繁序列挖掘方法，其特征在于，所述步骤1)中，为每一个项声明了一个整数标识符，并且完全用整数标识符的数组来表示序列，首先，按照项的频率降序对整数标识符进行排序，然后采用字节变化编码方式把项压缩成为整数。

5.根据权利要求1所述的一种海量数据的频繁序列挖掘方法，其特征在于，所述步骤2)中，构造ω‑等价的划分的步骤如下：

2‑1)用极小性检验输入时间序列是否与中心项相关；如果不相关，令如果相关，则执行一个对输入时间序列的反向扫描以得到所有下标的右距离；

2‑2)然后执行一个正向扫描，需要同时执行以下几点：

(a)计算左距离；

(b)进行不可到达化简；

(c)用空格替换不相关项；

(d)执行前缀/后缀化简和空格化简；

(e)使用γ+1个空格将输入序列拆分成若干个子序列，这些子序列会被用于空格拆分方法，从而形成最后的输出P_ω。

6.根据权利要求5所述的一种海量数据的频繁序列挖掘方法，其特征在于，在进行划分之前，首先，通过扫描集合F_σ,0,1(D)，其中集合中的项是按照频率降序排列好的，将相邻的项分为一组直到它们的频率和大于设定值m，遍历每一个项，完成分组；然后，针对每个分组，构造一个单独的划分。

7.根据权利要求5所述的一种海量数据的频繁序列挖掘方法，其特征在于，采用PrefixSpan算法对划分P_ω进行挖掘。