[发明专利]一种基于日志中心的异常检测方法

说明书

本发明提供了一种基于日志中心的异常检测方法，包含离线处理阶段和在线处理阶段；离线处理阶段和在线处理阶段包括日志解析、句子嵌入和基于注意力机制的Bi‑LSTM阶段；在线阶段包含异常检测阶段；应用本技术方案可实现检测日志数据中表现出的序列顺序变化和日志时间间隔变化，相比于传统的日志检测方法和深度学习检测方法有着更好的效果。

技术领域

本发明涉及信息安全测试技术领域，特别是一种基于日志中心的异常检测方法。

背景技术

主机系统运行过程中会产生各种各样的日志，日志记录了计算机运行时的状态和系统执行的各种操作，是在线监视和异常检测的良好信息来源。开发人员通常利用日志数据来获取系统状态、检测异常和定位根本原因。隐藏的丰富信息为分析系统问题提供了一个很好的视角。因此，通过在大量日志数据中挖掘日志信息，数据驱动的方法可以帮助增强系统的健康、稳定性和可用性。

随着现代计算机系统规模和复杂性的增加，日志数据呈爆炸式增长。有大量数据驱动的方法可以自动检测异常，例如基于主成分分析(PCA)的方法、基于不变挖掘的方法和基于工作流的方法，基于深度学习的方法如：DeepLog、LogAnomaly、LogRobust等在异常检测中取得了显著的效果。

现有方法是基于一些在现实的生产环境中无法满足的强假设而构建的，在生产环境中应用上述方法时，有两个主要挑战：在实际开发和维护中的那些软件系统中，日志格式在实践中不断变化；以及性能问题是部分故障的常见表现，指的是部分功能被破坏。大型系统不可避免地会遇到故障，导致日志模式发生变化。主要有如下几种故障；故障1：序列顺序变化即异常序列与正常序列相反，在这种情况下，系统收到了一个冗余的addStoredBlock请求，导致序列顺序发生变化。故障2：日志时间间隔变化即有性能问题的块通常保持与正常顺序相同的顺序。但是，性能问题会根据特定任务的故障组件减慢其执行时间通常将时间间隔变化称为性能问题。故障3：不断变化的事件即字符串被添加到日志语句中，但它保持原来的含义。

发明内容

有鉴于此，本发明的目的在于提供一种基于日志中心的异常检测方法，检测日志数据中表现出的序列顺序变化和日志时间间隔变化，相比于传统的日志检测方法和深度学习检测方法有着更好的效果。

为实现上述目的，本发明采用如下技术方案：一种基于日志中心的异常检测方法，包含离线处理阶段和在线处理阶段；离线处理阶段和在线处理阶段包括日志解析、句子嵌入和基于注意力机制的Bi-LSTM阶段；在线阶段包含异常检测阶段；

日志解析对历史日志数据进行分词、字典化和聚类，提取多个模板，日志语句与相同的标识符联系起来构建日志序列，然后将日志序列转化为语义信息和时间信息；

句子嵌入使用BERT模型或Word2Vec模型对句子进行编码，转化为词向量，将这些语义信息和时间信息输入到基于注意力机制的Bi-LSTM模型中学习正常、异常和性能异常日志序列的特征；在在线检测阶段，一旦检测到异常，就会发出警报。

在一较佳的实施例中，在线检测阶段，一旦检测到异常，就会发出警报，主要流程如下：

(1)日志解析模块：日志解析的目的是日志模板化；提出基于字典的日志模板化方法，将包含语义信息的部分视作日志语句中的常量；

(2)日志语句编码阶段：异常检测的最终目标是检测各种故障；引入时间信息作为特征来补充异常检测方法；日志解析后，通过将日志与相同的标识符或滑动窗口相关联来构建会话；将序列转换为语义信息和时间信息，并通过引入BERT来进行编码；