[发明专利]一种基于日志的系统异常检测方法、装置及存储介质

权利要求书

1.一种基于日志的系统异常检测方法，其特征在于，包括：

获取待检测的系统日志数据；

对获取的系统日志数据中的每一条日志进行提取得到日志模板，并生成对应的日志序列，形成日志流；

将日志流输入预训练的SVM检测模型，得到输出的第一异常检测结果；

采用PCA聚类方法对日志序列进行异常检测，得到第二异常检测结果；

采用不变量挖掘方法对日志序列进行异常检测，得到第三异常检测结果；

基于得到的第一异常检测结果、第二异常检测结果和第三异常检测结果，采用混淆矩阵评估的方法进行综合判断，得到最终的系统异常检测结果。

2.根据权利要求1所述的基于日志的系统异常检测方法，其特征在于，其中所述预训练的SVM检测模型的训练方法包括：

获取带有标签的系统日志数据，其中所述系统日志数据包括异常和正常系统日志数据组成的数据集；

对获取的带有标签的系统日志数据中的每一条日志进行提取得到日志模板，并生成对应的日志序列，形成日志流，作为训练数据集；

利用所述训练数据集输入SVM检测模型，对SVM检测模型进行训练优化，得到训练好的检测模型。

3.根据权利要求1所述的基于日志的系统异常检测方法，其特征在于，采用PCA聚类方法对日志序列进行异常检测，包括：

将每个日志序列矢量化为事件计数向量；

使用PCA聚类捕捉高维数据中最大方差的分量来计算k个主分量；

利用PCA，生成两个子空间，即正常空间Sn和异常空间Sa；Sn由前k个主分量构成，Sn由剩余的(n-k)个分量构成，其中n是原始尺寸，计算事件计数向量y到Sa的投影y_a：

y_a＝(1-PP^T)y

其中P、P^T分别为前K个主分量[v1，v2，...，vk，]构成的矩阵及其转置矩阵；

响应于ya的长度大于第一设定阈值，相应的事件计数向量将被报告为异常，否则报告为正常。

4.根据权利要求1所述的基于日志的系统异常检测方法，其特征在于，采用不变量挖掘方法对日志序列进行异常检测，包括：

输入日志序列生成的事件计数矩阵，其中每行都是事件计数向量；

利用奇异值分解估计不变空间，确定下一步需要挖掘的不变量；

通过搜索算法找出不变量：通过将不变量支持度与第二设定阈值进行比较，验证每个挖掘的不变候选结果；响应于不变量支持度大于或等于第二设定阈值，认为该事件是先前事件的候选结果，将该不变量作为获得的不变量；循环该步骤，直到获得r个独立不变量；

当新的日志序列到达时，检查它是否遵循不变量：如果至少有一个不变量被破坏，日志序列将被报告为异常，否则报告为正常。

5.根据权利要求1所述的基于日志的系统异常检测方法，其特征在于，对获取的系统日志数据中的每一条日志进行提取得到日志模板，并生成对应的日志序列，形成日志流，包括：

利用Spell方法对每一条产生的日志进行模板的解析，并将解析出来的日志模板记录在一个记录了所有日志模板的“字典”中；

将解析出来的每一个日志模板映射到唯一的序号上，于是日志的产生过程在经过解析变换成为使用数字进行记录的日志流。

6.根据权利要求1所述的基于日志的系统异常检测方法，其特征在于，基于得到的第一异常检测结果、第二异常检测结果和第三异常检测结果，采用混淆矩阵评估的方法进行综合判断，包括：

构造了函数e^P(PCA)+e^P(SVM)+e^P(IM),其中P(SVM)、P(PCA)、P(IM)分别表示根据第一异常检测结果、第二异常检测结果和第三异常检测结果计算得到的SVM检测模型、PCA聚类方法、不变量挖掘方法做出判决时的精确率；

如果函数最终数值大于或等于阈值，报告正常，否则报告异常，并返回异常日志的序列号，即可实现异常点的定位。