[发明专利]一种基于对抗迁移学习的日志异常检测方法

权利要求书

1.一种基于对抗迁移学习的日志异常检测方法，其特征在于，包括以下步骤：

步骤1：清洗源域日志数据；

步骤2：对所述源域日志数据进行清洗和预处理后进行正异常划分；

步骤3：将所述源域日志数据输入异常检测神经网络进行监督训练；

步骤4：多次训练得到源域深度异常检测网络模型；

步骤5：获取目标域无标记的日志数据进行清洗和预处理；

步骤6：将目标域无标记的日志数据输入到所述源域深度异常检测网络模型；

步骤7：借助对抗迁移学习方法训练目标域网络模型；

步骤8：输入待检测数据到所述目标域网络模型；

步骤9：根据目标域网络模型的输出结果与阈值进行对比；

步骤10：若大于阈值，判定为数据异常；若小于阈值，判定为数据正常。

2.根据权利要求1所述的基于对抗迁移学习的日志异常检测方法，其特征在于，所述源域深度异常检测网络模型包括特征生成器和异常检测器。

3.根据权利要求2所述的基于对抗迁移学习的日志异常检测方法，其特征在于，所述特征检测器对于通过并行卷积网络，将预处理日志数据输入到网络中，对日志数据进行嵌入处理，将高维的日志数据映射到低维隐变量空间，获取到其中的表示作为该日志数据的特征向量；

通过特征生成器G_f产生特征f₁：

f₁＝G_f(X_S/T；θ_f)。

4.根据权利要求2所述的基于对抗迁移学习的日志异常检测方法，其特征在于，所述异常检测器采用LSTM单元或者GRU单元进行序列关系提取，并且可以根据序列的长度进行网络结构的动态调整，通过异常检测器生成异常结果：

5.根据权利要求1所述的基于对抗迁移学习的日志异常检测方法，其特征在于，在步骤7中，对抗迁移学习模型的整体结构包括一个特征生成器和两个异常检测器；分别实现的功能是特征生成和异常检测。

6.根据权利要求5所述的基于对抗迁移学习的日志异常检测方法，其特征在于，所述特征生成器，输入数据通过并行的卷积神经网络生成对应的特征向量f₁，作为后续神经网络的输入；所述特征生成器需要同时对源域和目标域数据进行处理；

所述异常检测器，先要通过源域的数据进行训练，分别获得两个在源域上表现良好的异常检测器，然后再输入目标域数据来计算两个检测器之间的差异，通过对抗优化这个差异来动态调整异常检测器在目标域数据上的性能，以获得在目标系统上异常检测性能优越的模型。

针对于源域样本和目标域样本

其中表示源域输入样本，表示对应的异常标记，源域共有n_s个有标记的日志序列数据；表示目标域输入样本，目标域共有n_t个无标记的日志序列数据；

异常检测的损失函数分别是和其中θ_f表示特征生成器的参数，表示异常检测器的参数；损失函数的具体的数学表达是：

用于衡量不同异常检测器检测结果差异的损失函数是具体的数学表达是：

7.根据权利要求6所述的基于对抗迁移学习的日志异常检测方法，其特征在于，所述对抗迁移学习方法训练具体的优化过程如下：

步骤1：通过优化特征生成器和异常预测器中的参数θ_f，来实现对于源域上日志特征生成器和异常预测器的训练，具体的优化目标是：

步骤2：通过忽略特征生成器的参数来固定特征生成器，主要训练异常预测器使得不同异常预测器的预测结果之间的差异尽可能的大，具体的优化目标是：

步骤3：通过忽略异常预测器的参数来固定异常预测器，主要训练特征生成器使得不同异常预测器的预测结果之间的差异尽可能的小，具体的优化目标是：