[发明专利]一种流数据上的高效用模式挖掘方法

说明书

本发明公开了一种流数据上的高效用模式挖掘方法，包括初始化一个空的全局头表、一个空的全局树和一个空的尾节点表，对于流数据，首先判断流数据中是否还有数据，若没有数据，则直接结束本方法；否则，读入一批流数据，判断全局头表和全局树是否包含一个窗口大小的数据，若包含则更新全局树和全局头表及执行挖掘高效用模式的操作，否则构建全局树和全局头表及执行判断流数据中是否还有数据的操作。本发明在挖掘流数据上的高效用模式时，在与HUM‑UT方法挖掘出的高效用模式一致的情况下，时间性能优于已有的HUM‑UT方法。当流数据中包含越多的不同数据项，时间性能的提升越明显。

技术领域

本发明属于流数据技术领域，涉及一种高效用模式的挖掘方法，具体涉及一种改进的流数据上挖掘高效用模式的EHUM-UT方法。

背景技术

在现实生活中许多领域都产生大量的流数据，如：Web服务器的日志记录、无线传感器网络的传感器数据和零售市场交易等。流数据具有的特点为：流数据是一种动态数据，它具有数据持续到达、快速、实时等特点。滑动窗口模型是处理动态流数据的一个常用模型，王乐基于滑动窗口模型，在数据流上频繁模式和高效用模式挖掘一文中提出了流数据上的高效用模式挖掘的HUM-UT方法。虽然HUM-UT方法在流数据上的高效用模式挖掘的效率已经很高，但是该方法建立的全局头表中包含非关注项，导致每次挖掘，都需要花费大量的时间遍历根据全局头表建立的头表中的非关注项。随后，谢志轩等提出了一种改进的流数据上的高效用模式挖掘方法，该方法通过压缩HUM-UT方法的头表大小来提高方法的时间效率，但是该方法存在新一批数据包含已去除的非关注项的问题,导致新一批数据到来时需要重新添加已经去除的项，增加挖掘过程中所消耗的时间。

发明内容

为了解决上述技术问题，本发明提供了一种改进的流数据上挖掘高效用模式的EHUM-UT方法，能够保证在新一批数据到来时不包含已去除的非关注项并且与HUM-UT方法产生相同的高效用模式的前提下，提高其时间性能。

本发明所采用的技术方案是：一种流数据上的高效用模式挖掘方法，其特征在于，包括以下步骤：

步骤1：初始化一个空的全局头表、一个空的全局树和一个空尾节点表；

步骤2：判断流数据中是否还有数据；

若是，则执行步骤3；

若否，则本流程结束；

步骤3：读入一批流数据；

步骤4：判断全局头表和全局树是否包含一个窗口大小的数据；

若是，则执行步骤5；

若否，则构建全局头表和全局树，并回转执行步骤2；

步骤5：更新全局头表和全局树；

步骤6：根据全局头表和全局树挖掘出高效用模式，并回转执行步骤2。

本发明的有益效果为：

1.对于处理实际的流数据中的数据时，当全局头表包含一个窗口大小的数据，在添加新一批数据之后，去除全局头表中的非关注项，能保证新一批数据中不包含已去除的非关注项，从而减少在挖据高效用模式过程的所消耗的时间。

2.对于处理实际流数据中的数据时，流数据中包含越多的不同数据项，在挖据高效用模式的过程中相对于HUM-UT方法，时间性能提升越明显。

附图说明

图1为本发明实施例的方法流程图；

图2为本发明实施例的Connect数据集在不同最小效用阈值下的EHUM-UT方法和HUM-UT方法对比结果；

图3为本发明实施例的T10.14.D100K数据集在不同最小效用阈值下的EHUM-UT方法和HUM-UT方法对比结果；