[发明专利]基于异构日志的异常检测网络生成方法及异常检测方法

说明书

本发明公开了基于异构日志的异常检测网络生成方法及异常检测方法，生成方法包括：获取系统的历史原始日志消息序列并转换为日志模板序列；根据日志模板序列的自然序号和获取到的历史原始日志消息序列，生成日志模式事件，将日志模式事件转换为模式向量；采用预设的多头合成自注意力机制对模式向量进行计算和合成，得到多头合成注意力矩阵；基于多头合成注意力矩阵得到多头合成自注意力深度网络，经过随机梯度下降法训练后，得到面向异构日志的异常检测网络。本发明训练得到的面向异构日志的异常检测网络能够准确检测异构日志的异常，在准确率、实时性要求较高的日志异常检测任务中具有良好的实用性。

技术领域

本发明涉及基于异构日志的异常检测网络生成方法及异常检测方法，属于自然语言处理与人工智能技术领域。

背景技术

系统在运行期间通常产生系统日志详细记录系统的运行状态，以及发生的事件，当然也包括系统出现的异常情况。日志作为监控系统健康最可靠的信息源，包含着大量的信息，是对系统进行异常检测的主要数据来源。

对于传统的独立系统，开发人员通过手动检查系统日志或编写特定规则，以根据其领域知识检测系统异常，并额外使用关键字搜索(例如，“失败”、“异常”)或正则表达式匹配。然而，现代信息系统通常采用分布式的体系结构，导致日志具有多源、异构的特点，这种严重依赖于人工检查日志的异常检测对于大规模的系统几乎是行不通的。开发人员通常使用自由文本记录系统时间以方便和灵活性，这对于定义规则的异常检测算法带来困难。更重要的是，像其他软件维护一样，日志总是在不断演化，开发人员可能会经常修改源代码，包括日志语句，这会出现曾为出现的日志模式从而导致影响日志异常检测的性能。

近年来，许多基于异构日志的自动异常检测方法被提出，这些方法主要分为无监督学习和有监督学习方法。无监督学习方法通常使用聚类、PCA等机器学习方法；有监督学习方法一般根据异常标注学习日志的异常模式，从而达到异常检测的目的，有监督学习方法通常采用LSTM、CNN等深度学习方法。

深度自注意力网络是一种基于自我注意的最先进的自然语言处理体系结构，深度自注意力网络突破了长短记忆网络不能并行计算的限制，而且自注意力机制是更具可解释性模型，在自然语言处理任务上取得了许多令人印象深刻的结果，近几年，逐渐有越来越多研究者将该模型应用于日志异常检测领域。

然而，以前对日志异常检测的方法往往是手动搜索错误关键词，针对特定的系统设计编写特定的规则，亦或是从日志消息中提取模板来构建一个异常检测模型。虽然有效，但由于系统日志表现出规模大、种类和来源多样化、数据噪声大和演化速度快的特点，使得检测方法不够通用，而仅将模板作为训练样本特征训练异常检测模型，虽具有一定通用性，却会忽略原始日志序列间的语义关系，给基于日志的异常检测方法带来了巨大挑战。

发明内容

本发明的目的在于克服现有技术中的不足，提供基于异构日志的异常检测网络生成方法及异常检测方法，能够充分利用日志模板和日志消息，对日志的异构问题，无需任何领域知识定义不同的规则，具有良好的通用性，对准确率、实时性要求较高的日志异常检测系统中具有良好的实用性。为达到上述目的，本发明是采用下述技术方案实现的：

第一方面，本发明提供了一种基于异构日志的异常检测网络生成方法，包括：

获取系统的原始日志消息序列并转换为日志模板序列；

根据日志模板序列的自然序号和获取到的原始日志消息序列，生成日志模式事件，将日志模式事件转换为模式向量；

采用预设的多头合成自注意力机制对模式向量进行计算和合成，得到多头合成注意力矩阵；

基于多头合成注意力矩阵得到多头合成自注意力深度网络，经过随机梯度下降法训练后，得到面向异构日志的异常检测网络。

结合第一方面，进一步地，所述得到多头合成注意力矩阵，包括：