[发明专利]一种基于孤立森林算法的电力调度流数据异常检测方法

权利要求书

1.一种基于孤立森林算法的电力调度流数据异常检测方法，其特征在于，所述方法步骤包括：

(1)通过系统抽样方法对数据集进行训练，运用训练得到的隔离树构建多个子森林异常检测器，将多个子森林异常检测器组成基森林异常检测器，具体为：采集N条电力调度数据样本，组成原始电力调度数据集；构建一个隔离树时，从N条数据中无放回抽样，得到ψ条数据样本，作为这个隔离树的训练样本；在每个隔离树样本中，随机选一个特征，并在这个特征的最小值与最大值之间随机选一个值，对样本进行二叉划分，将样本中小于该值的数据样本划分到节点的左边，大于等于该值的数据样本划分到节点的右边，得到了一个分裂条件和左、右两边的数据集；分别在左右两边的数据集上重复上面的过程，直接达到终止条件，终止条件有两个：

1)数据集无法继续分裂，即该数据集只包含一条样本或者是所包含的样本相同；

2)树的高度达到log₂(ψ)；

运用系统抽样的方法将隔离树分为n组，构建n个子森林异常检测器，记为iForest(1)～iForest(n)，n个子森林异常检测器中的隔离树共同组成了基森林异常检测器；

(2)通过基森林异常检测器判断进入滑动窗口数据的异常情况，具体为：将基森林异常检测器应用于滑动窗口的流数据，即对每个到达滑动窗口的数据，通过基森林异常检测器判断其异常状况；基森林异常检测器的输入为进程CPU占用率、内存占用率、磁盘IO、网络IO、线程个数、网络连接数与电力调度系统业务相关的进程实时资源占用数据；输出为(0,1)范围内的数值，表明流数据为正常状态的数值范围为(0,h]，流数据为异常范围的数值范围为(h,1)，h值在原始数据集训练初始基检测器之后，用训练得到的检测器计算历史数据的异常得分，按照历史数据异常比例取异常得分分位数得出：

h＝-QUARTILE(-F(X),100*(1-c))

其中：y＝QUARTILE(a,b)为分位数函数；z＝F(x)为基森林检测器检测函数；X为隔离树的训练样本集；c为训练样本集中的异常样本比例；

(3)对进入滑动窗口的流数据进行抽样，判断其是否存入缓冲区；当滑动窗口中数据充满时，实时判断此时滑动窗口数据异常率；

(4)触发检测器更新的判断；

(5)基于更新数据集计算每个子森林异常检测器和基森林异常检测器异常率差值，去除差值大的子森林异常检测器，同时构建多个子森林异常检测器进行补充，以组成新的基森林异常检测器，实现更新，具体为：

分别运用基森林检测器和子森林检测器，计算数据集X^*的数据异常率，记为u_all和u(i)，设r_i为第i个子森林异常检测器iForest(i)的异常率偏差：

将n个子森林异常检测器的异常率偏差按从大到小的顺序排列，取前k(0＜k＜n)个作为待更新的子森林异常检测器；

运用当前滑动窗口中的数据构建k个子森林异常检测器，取代待更新子森林异常检测器，同时更新基森林检测器中的隔离树，完成对基森林检测器的更新，清空滑动窗口和缓存区的数据。

2.根据权利要求1所述的方法，其特征在于，对进入滑动窗口的流数据进行抽样，判断其是否存入缓冲区；当滑动窗口中数据充满时，实时判断此时滑动窗口数据异常率，具体说明如下：对于新到达滑动窗口的数据，基于伯努利分布进行简单随机抽样判断该数据是否进入缓存区，来实现对缓存区的数据填充；如果滑动窗口数据已满，新到达的数据将取代最早进入滑动窗口的数据，同时实时计算此时刻滑动窗口中的数据异常率，记为u′：

其中，n为当前滑动窗口中异常数据个数，n_all为当前滑动窗口中所有数据个数。

3.根据权利要求1所述的方法，其特征在于，触发检测器更新的判断，具体说明如下：

当满足以下两个条件中的任意一个时，对异常检测器进行更新：

1)当前滑动窗口数据异常率u′大于异常率阈值u，此时用于更新基森林异常检测器的数据集X^*为滑动窗口中的数据与缓存区中的数据的并集；

2)缓存区中数据已满，此时用于更新基森林检测器的数据集X^*为缓存区中数据。