[发明专利]一种基于密度的局部离群点检测方法

说明书

技术领域

本发明涉及一种基于密度的局部离群点检测方法，属于计算机科学技术领域。

背景技术

异常检测是数据挖掘的基本任务之一,其目的是消除噪音,或发现潜在的有意义的知识。从上个世纪80年代以来，对异常检测的研究经历了几次盛衰交替。近年来，随着信息技术的发展，应用领域中实际需求的驱动，传感器技术的飞速发展使得人们可以轻易获取到大量信息数据。为此异常检测再次成为信息科学中一个活跃的分支，在数据流、数据挖掘、机器学习和统计学等多个领域受到了广泛的关注，有着广泛的运用前景。现在，异常检测广泛运用在入侵检测、欺诈检测、工业损检、医疗卫生监测等。

最早的异常检测算法是针对整个数据集的，得到的结果是一组全局离群点集合。但是在很多的现实运用中，所获得的数据并不完整，而很多时候用户也只关心局部的不稳定性。相对于全局离群点，基于局部研究的异常对象称为局部离群点。自从局部离群因子(LOF)提出以后，出现了很多的局部离群对象检测方法。局部离群点的监测需要解决局部邻域的确定和对象与其邻域比较计算两个子问题。现有的算法从不同的角度对LOF算法进行了改进和延伸，一些特定分布的数据集中取得了不错的检测效果。但是现有的局部离群检测算法只从整体上考虑对象偏离其邻域对象的程度，没有关注他们之间整体的分散程度，因而在对分散的数据集进行离群检测的时候，这些算法的精度就会严重受到影响。

发明内容

为解决上述问题，本发明利用对象及其邻域数据之间的距离的期望和方差定义了对象的k邻域分散度，根据k邻域分散度重新定义了局部离群系数，并提出了一种新的局部离群检测方法。相对于传统方法，我们的方法得到的异常值对分散的数据集的异常程度更敏感，检测结果的准确度更高。

具体来说，本发明提供了一种基于密度的局部离群点检测方法，该方法包括：

步骤1，对数据集的各个属性进行归一化处理；

步骤2，搜索离各个对象最近邻的k个对象；

步骤3，计算各个对象与其邻域对象之间距离的平均值，并记为对象的k邻域距离；

步骤4，对各个对象的k邻域距离进行全局归一化处理；

步骤5，计算各个对象与其邻域对象之间距离的方差，并记为对象的k邻域方差；

步骤6，对各个对象的k邻域方差进行全局归一化处理；

步骤7，计算各个对象的k邻域分散度；

步骤8，计算各个对象的k邻域密度；

步骤9，计算各个对象局部离群系数；

步骤10，确定数据集的离群对象；

其中，步骤1的数据集属性归一化操作可表示为：

a_ji表示数据集中第j个数据对象的第i维数据。

其中，步骤2的k是事先给定的阈值。

其中，步骤7邻域分散度N_k-disp(o)的计算可表示为：

Nn_k-adist(o)表示对象的k邻域距离的全局归一化，Nn_k-vari(o)表示对象的k邻域方差的全局归一化，N_k-adist(o)表示对象的k邻域距离。

其中，步骤8的计算邻域密度N_k-dens(o)的计算可表示为：

N_k-dens(o)表示对象的邻域密度，N_k-adist(o)表示对象的k邻域距离。当对象o与其所有邻域对象重合，为了避免N_k-dens(o)无意义，同时保证o的k邻域密度最大，此时直接让N_k-dens(o)在数据集中取一个比其它所有对象的邻域密度稍大的值。

其中，步骤10离群对象的确定包括：

步骤101，按对象的离群值大小对数据集进行按降序排序；

步骤102，取离群值最大的前m_outl个对象作为数据集的离群点，m_outl是事先给定的阈值。

本发明的有益功效在于：本发明结合对象与其邻域对象的分散程度，用对象及其邻域对象之间的距离的期望和方差定义了对象的k邻域分散度，利用k邻域分散度重新定义了局部离群系数，充分考虑了数据集的分布规律，算法得到的异常值对分散数据集的数据对象的异常程度更加敏感，检测结果的准确度更高。

附图说明

图1是本发明的一种基于密度的局部离群点检测方法的流程图。

具体实施方式