[发明专利]一种基于日志中心的异常检测方法

权利要求书

1.一种基于日志中心的异常检测方法，其特征在于，包含离线处理阶段和在线处理阶段；离线处理阶段和在线处理阶段包括日志解析、句子嵌入和基于注意力机制的Bi-LSTM阶段；在线阶段包含异常检测阶段；

日志解析对历史日志数据进行分词、字典化和聚类，提取多个模板，日志语句与相同的标识符联系起来构建日志序列，然后将日志序列转化为语义信息和时间信息；

句子嵌入使用BERT模型或Word2Vec模型对句子进行编码，转化为词向量，将这些语义信息和时间信息输入到基于注意力机制的Bi-LSTM模型中学习正常、异常和性能异常日志序列的特征；在在线检测阶段，一旦检测到异常，就会发出警报。

2.根据权利要求1所述的一种基于日志中心的异常检测方法，其特征在于，在线检测阶段，一旦检测到异常，就会发出警报，主要流程如下

(1)日志解析模块：日志解析的目的是日志模板化；提出基于字典的日志模板化方法，将包含语义信息的部分视作日志语句中的常量；

(2)日志语句编码阶段：异常检测的最终目标是检测各种故障；引入时间信息作为特征来补充异常检测方法；日志解析后，通过将日志与相同的标识符或滑动窗口相关联来构建会话；将序列转换为语义信息和时间信息，并通过引入BERT来进行编码；

(3)日志模式在线学习阶段：在线阶段，在句子嵌入之后，每条日志消息被转换成一个语义向量和一个时间嵌入向量；将二者串联，每个日志序列都表示为一个向量列表，并以此类向量为输入，采用基于注意力机制的双向LSTM神经网络模型来检测各种异常；在离线阶段，使用历史日志训练获得一个双向LSTM的预训练模型，用双向LSTM的预训练模型进行异常检测；当一组新的日志语句到达时，它首先经过日志解析和句子嵌入阶段；然后将上面阶段获得的输出向量作为输入，输入到预训练模型中；最后，通过双向LSTM模型可以检测是否发生异常，并根据由共同标识符关联的日志语句做出预测。

3.根据权利要求2所述的一种基于日志中心的异常检测方法，其特征在于，日志解析主要流程为：1)日志预处理和字典化、2)利用有效词集进行日志聚类、3)寻找最大公共序列、4)利用前缀树进行聚类以及5)得到日至解析模板。