[发明专利]一种基于图论方法的大规模数据集离群数据挖掘方法

摘要

本发明公开了一种基于图论方法的大规模数据集离群数据挖掘方法，的方法删减图中的边，通过多次迭代后图中度为0的节点对应的样本即为本方法筛选的离群数据。所述无环图为基于距离的无向图，图中节点为数据集中的样本，边的权值为两个节点对应样本之间的距离。本发明分类方法可应用于各种离群数据挖掘的应用中，适用于搜寻全局离群数据。

主权项

一种基于图论方法的大规模数据集离群数据挖掘方法，其特征在于：利用样本间的距离信息建立无环图，然后以此图为基础逐步通过裁剪图的方法删减图中的边，通过多次迭代后图中度为0的节点对应的样本即为筛选的离群数据；包括以下步骤：1)数据预处理该步目的是对数据进行预处理，消除数据间的不一致性同时归一化各个数据，包括的具体操作有数据清理、数据集成、数据变换、数据归约；2)特征选取与变换特征选取是从所有属性筛选去掉对后续操作贡献较小甚至于没有贡献的属性；特征变换是利用当前属性通过变换得到新特征空间的属性；3)构建距离图G假设数据集中共有样本n个，图G中共包含n个节点，包含条边，假设该图对应的链接矩阵为:按照上述定义，矩阵中元素的取值：其中，GM为距离图G的链接矩阵，dij为样本Di和样本Dj之间的距离，样本本身的距离定义为0，假定数据集中样本间的最大距离为1；4)筛选离群数据通过迭代逐渐裁剪距离图，进而搜寻出其中的离群数据；所述裁剪方法为：[1].从矩阵GM选择1个距离最大的边；[2].去掉图G中对应的边；[3].迭代终止条件：a)图G的联通子图个数小于某个阈值t1；b)删除的最小距离已小于某个阈值t2；c)度为0的节点到达一定个数k；最终图G中度为0对应的样本数据即为筛选出来的离群数据。