[发明专利]一种基于增强型角度异常因子的数据流异常检测及多重验证的方法

权利要求书

1.一种基于增强型角度异常因子的数据流异常检测及多重验证的方法，其特征是，包括如下步骤：

1)对实时数据流进行处理：对数据采集终端采集的各式各样的实时数据流按照构成数据的最小单位和采集时的时间顺序，将一个时间段获得的数据组成数据块，将几个数据块构成滑动窗口处理的数据集S；

2)对所述步骤1)处理后得到的结果进行设置得到当前滑动窗口中数据集S，设S＝{X₁,X₂,...,X_n}，其中包含n个数据点，每个数据点根据其属性表示为其中表示数据点x_i有d个属性，用于后续聚类和异常检测；

3)初始化参数k、r、ξ：设定初始化参数，其中k表示数据点的k个最近邻点的个数，r为数据点的空间邻域半径，ξ为异常判决阈值调整系数，异常判决阈值θ＝μ+ξ·δ，其中μ和δ对应所有数据点增强型角度异常因子的均值及标准差；

4)获取距离矩阵dist：结合步骤2)中的数据集S，计算所有数据点之间的距离，得到n×n的距离矩阵dist，dist＝[d_ij]_n×n，计算公式为公式(1)：

其中X_i和Y_j都是集合S中的数据点，并且x_ik表示数据点x_i有k个属性，y_jk表示数据点y_j有k个属性；

5)得到r邻域点集合：根据空间邻域半径r，得到每个数据点的r邻域点集合即该点处以邻域半径r为半径，圈住的所有数据点的集合；

6)得到r邻域点集合的角度因子和局部密度结合距离矩阵dist得到r邻域点集合的角度因子和r邻域点集合的局部密度其中N_r数据点x_i的r邻域；

7)获取相异度δ(x_i)：根据步骤6)中得到的r邻域点集合的局部密度进行排序后，计算对应的相异度δ(x_i)；

8)获取各数据点的簇心因子τ(x_i)：结合步骤6)和步骤7)获取簇心因子τ(x_i)为公式(5)：簇心因子τ(x_i)用来度量数据点处于簇心的程度；

9)获取归属矩阵：对步骤8)中得到的所有数据点簇心因子，进行降序排序得τ(p₁)≥τ(p₂)≥…≥τ(p_n)，其中p_n表示对应数据点的原始序号，从而得到用于聚类的归属矩阵F＝[f₁,f₂,...,f_n]；

10)确定簇心并聚类：利用簇心因子和归属矩阵对数据集S进行簇心确定及聚类，将所有类标号相同的数据点组成集合，即簇，得到m＝C_{center_id}个簇C₁,C₂,...,C_m，其中C_{center_id}为簇心序号，完成对数据集S的聚类；

11)对聚类后的各簇分别进行异常检测：步骤10)中得到各个簇C_i(i＝1,2,…,m)，先对聚类后的数据集S中的各个簇C₁,C₂,...,C_m，分别进行异常检测，得到各簇异常点集合O_i，最终得到数据集S中所有异常点集合O＝{O₁,...,O_m}，异常检测所涉及的公式有：簇内角度因子为公式(7)：

其中A、B、C是数据集中的数据点，阿表示第个i簇且簇中每个数据点均有d维属性，是数据点q邻域内的数据点个数，

局部增量值H(X_j)为公式(8)：

k个最近邻点的距离和L(X_j)为公式(9)：

其中，表示数据点X_j在其所属簇中的k个最近邻点组成的k邻域；

增强型角度异常因子EAOF(X_j)为公式(10)：

其中，o是数据点X_j所属簇的簇心，dist(o,X_j)为数据点X_j与其簇心的距离，表示C_i(i＝1,2,…,m)簇内每个数据点相对于该簇的角度因子，H(X_j)是局部增量值；

12)多重验证：对所有候选异常点进行多次验证，并将经过有限次验证仍表现为异常的候选异常点判决为确定异常点并输出保存，若在验证过程中表现为正常点，则将该异常点直接丢弃。