[发明专利]基于频繁和占有特征的skyline模式挖掘方法及装置

说明书

本发明公开了一种基于频繁和占有特征的skyline模式挖掘方法及装置，该方法包括：获取包括至少一件事务的事务数据集，每件事务中包括至少一个单项；对所有单项进行统计，获取各单项在事务数据集中的频繁度；根据各单项的频繁度，按照降序方式对各单项的PEL数据结构进行排序；根据广度优先遍历方法，逐层遍历根据排序后的各单项的PEL数据结构形成的当前模式以及扩展模式，挖掘出满足预设挖掘条件的skyline模式。本发明在挖掘过程中有效避免了因用户设置阈值的不合理而使得挖掘出的数据差异极大的问题；同时大幅度减少了数据计算量和算法搜索空间的规模，有效节省了内存开销，提升了挖掘算法的整体效率。

技术领域

本发明涉及数据挖掘技术领域，具体涉及一种基于频繁和占有特征的skyline模式挖掘方法及装置。

背景技术

数据挖掘(Data Mining)技术是一种对海量数据进行深层次分析以获取更有价值的信息和知识的高级数据分析技术。在数据挖掘研究中，面向模式兴趣度，基于约束条件的频繁项集模式挖掘比单一的频繁项集模式挖掘效率更高，内存开销更少，更好的度量了模式的兴趣度，因此，面向模式兴趣度的频繁模式挖掘逐渐趋于成熟。

目前，在一些科研成果中，提出了多类度量信息，通过与频率结合共同对数据集进行约束挖掘。然而，在面向模式兴趣度的频繁项集模式挖掘的过程中存在一些不足之处，也是该领域的难题之一，具体如下：其一是模式约束挖掘的尺度，需要用户自设约束度量信息的最低阈值，当计算的度量信息大于最低阈值时才被挖掘出，因此阈值设定不合理将直接导致挖掘出大量不合理的模式；其二，虽然挖掘的模式是频繁的且具有一定模式兴趣度信息的，但挖掘的模式很可能是不完整的，会丢失很重要的信息成分。

需要注意的是，本部分旨在为权利要求书中陈述的本公开的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。

发明内容

本发明提供一种基于频繁和占有特征的skyline模式挖掘方法及装置，以解决现有基于频繁项集模式挖掘技术中，存在的挖掘的模式不完整且因用户设置阈值的不合理而使得挖掘出的数据差异极大的问题。

第一方面，本发明实施例提供一种基于频繁和占有特征的skyline模式挖掘方法，所述方法包括：

获取包括至少一件事务的事务数据集，每件事务中包括至少一个单项；

对所述事务数据集中包括的所有单项进行统计，获取各所述单项在所述事务数据集中的频繁度；

根据各所述单项的频繁度，按照降序方式对各所述单项的PEL数据结构进行排序；

根据广度优先遍历方法，逐层遍历根据排序后的各所述单项的PEL数据结构形成的当前模式以及由所述当前模式扩展得到的扩展模式，从所述当前模式以及所述当前模式的扩展模式中挖掘出满足预设挖掘条件的skyline模式。

作为本发明第一方面的优选方式，所述根据广度优先遍历方法，逐层遍历根据各所述单项的PEL数据结构形成的当前模式以及以所述当前模式扩展得到的扩展模式，从所述当前模式以及所述当前模式的扩展模式中挖掘出满足预设挖掘条件的skyline模式包括：

按照排序后的各所述单项的PEL数据结构，分别对应形成各当前模式以及由所述当前模式扩展得到的扩展模式；

依次判断各所述当前模式是否满足预设挖掘条件；

若是，则确定所述当前模式为满足预设挖掘条件的skyline模式，保留所述当前模式并根据预设剪枝条件对所述当前模式的扩展模式进行剪枝；

依次判断所述当前模式的扩展模式是否满足预设挖掘条件；

若是，则确定所述当前模式的扩展模式为满足预设挖掘条件的skyline模式，保留所述当前模式的扩展模式。