[发明专利]一种基于增强型角度异常因子的数据流异常检测及多重验证的方法

说明书

公开了一种基于增强型角度异常因子的数据流异常检测及多重验证的方法，其特征是，包括如下步骤：1)对实时数据流进行处理；2)设置滑动窗口中数据集S；3)初始化参数k、r、ξ；4)获取距离矩阵dist；5)得到r邻域点集合；6)得到r邻域点集合的角度因子和局部密度7)获取相异度；8)获取各数据点的簇心因子；9)获取归属矩阵；10)确定簇心并聚类；11)对聚类后的各簇分别进行异常检测；12)多重验证。这种方法运用了滑动窗口和基本窗口技术，构造了高效的数据流处理模型，降低了内存的占用率、实时性好、异常检测准确率高、时间复杂度低。

技术领域

本发明涉及数据流异常检测和数据聚类，尤其涉及一种基于增强型角度异常因子的数据流异常检测及多重验证的方法。

背景技术

网络技术的飞速发展和社会信息化的不断提高，引发了信息量的爆炸式增长，使得各行各业产生了海量、高速、动态的流数据，如网络入侵监测、商业交易管理和分析、视频监控、传感网络监控等。由于动态数据流的实时无限等特点，传统的静态数据异常检测方法已不能准确有效的分析和处理如此大规模动态增长的流数据，因此构建一种适用于数据流的实时有效异常检测方法变得尤其重要。

针对不同阶段面临的实际问题，科技工作者提出了不同的数据流异常检测方法。现有的数据流异常检测方法大致可分为基于密度的数据流异常检测方法、基于角度的数据流异常检测方法、基于聚类的数据流异常检测方法。基于密度的数据流异常检测方法运用密度作为最基本的异常度量方式，并构造出能动态更新的用于度量数据异常程度的异常因子，Pokrajac等人将静态数据异常检测方法LOF引用到数据流中，研究出一种能运用到动态数据流中的增量式局部异常检测方法INCLOF，随着新数据的插入，INCLOF删除历史数据并动态更新各数据点的异常因子；Ke Gao等人对INCLOF方法进行了改进，引入滑动窗口的思想，提出了n-INCLOF方法，n-INCLOF方法仅更新当前时刻滑动窗口内各数据对象的异常因子；在有些情况下，有的数据点在某一时刻表现为异常，但在下一时刻并不表现异常，基于这个问题，Karimian S H等人提出了I-IncLOF方法，I-IncLOF方法引入了多重验证的思想，I-IncLOF方法将那些在窗口的整个滑动过程中始终表现为异常的数据对象判定为确定异常点，I-IncLOF方法大大降低了误判率，但I-IncLOF方法在多维情况下有效性较差；XinjieLu等人提出了INCLOCI方法，INCLOCI引入多粒度异常因子MDEF，INCLOCI方法不仅能检测出分散的异常点，而且能检测出异常簇。为了解决距离、密度等相似度度量方式在高维数据空间中有效性降低的问题，一些科研工作者提出了角度的度量方式，角度的相似度度量的基本思想就是异常点与其它点所成的角度普遍偏小且波动范围小、常规点与其它点所成的角度有大有小且波动范围大，HP Kriegel等人提出了基于角度的异常检测方法ABOD，ABOD方法将角度的方差作为度量数据点异常程度的异常因子ABOF，ABOD方法在高维空间中仍然有很高的检测准确率；Ye H提出了基于角度的数据流异常检测方法DSABOD，随着数据流数据点不断流入内存，DSABOD方法动态更新每个数据点相对于其邻域点的异常因子，DSABOD方法为高维数据流中的异常检测提出了一种新的思路，但传统的基于角度的数据流异常检测方法存在异常检测率较低的问题。基于聚类的数据流异常检测方法分为对数据点进行聚类和对每个簇中数据点进行异常检测这两个阶段，Elahi M等人提出了一种基于聚类的数据流异常检测方法，将K-Means和LOF相结合的方法，该方法分区域定义异常因子，提高了方法对异常检测的准确率；Thakran Y等人又提出了将DBSCAN方法与W-K-Means方法相结合的方法，该方法对当前时刻的数据块运用DBSCAN方法进行聚类并得到候选异常点和初始簇，该方法结合前一时刻得到的待多重验证的候选异常点,运用W-K-Means方法再次进行聚类，得到当前时刻的候选异常点和常规点簇，同时该方法对候选异常点采用多重验证删除误判的异常点释放内存，该方法在整个过程中动态调整DBSCAN方法所需要的参量MinPts、Epsilon、W-K-Means方法的属性权重，该方法对异常检测的准确度较高，但需要的人为设定参量过多，人工干预严重，方法的复杂度较高，且该方法在多维空间中的有效性较差。