[发明专利]一种基于自注意力机制的图网络的系统日志检测方法

说明书

一种基于自注意力机制的图网络的系统日志检测方法，首先从系统的主日志文件中收集日志文本数据，以及系统硬件数据，建立标准的多序列数据源；建立时空图神经网络模型，基于标准多序列数据建立序列间图关系，以及序列内时序关系，训练最优参数；基于最优参数模型，将新的标准多序列数据进行模型推理，建立推理结果判别标准；基于推理结果，定位异常事件发生区域及异常发生时间，基于硬件数据进一步分析异常原因。本发明具有很好的稳定性，检测精度高。

技术领域

本发明涉及计算机系统安全检测技术领域，具体涉及一种基于自注意力机制的图网络的系统日志检测方法。

背景技术

如今，数据服务通常运行在由数千台服务器组成的数据中心中，服务的质量取决于大数据系统的可靠性和安全性。特别是在一些企业的数据中心，需要提前检测异常事件，以避免造成重大损失。随着系统变得比以往任何时候都越来越复杂，它们正在暴露出更多的漏洞。部署细粒度的检测工具是至关重要的，这些工具旨在识别数据中可能被遗漏的线索。日志记录系统运行时触发的重要事件，并根据时间戳形成一个序列。如何有效利用这些日志序列数据进行事件检测具有重要意义。

系统记录系统状态和记录禁止事件，以帮助调试性能问题和故障，并执行根本原因分析。这种日志数据在几乎所有的计算机系统中都普遍可用，是理解系统状态的宝贵资源。此外，由于系统日志记录了正在运行的进程中发生的值得注意的事件，它们是在线监视和异常检测的极好的信息来源。

随着系统的规模和复杂性的增加，通过人工检查日志来检测系统异常变得越来越困难。多年来，许多基于日志的自动方法已经被提出来检测系统异常，这些工作从日志中检索有用的信息，并采用数据挖掘和机器学习技术来分析日志数据，并检测系统异常的发生。

现有的基于日志的异常检测方法虽然有效，但在实践中还不够鲁棒。为了检测异常情况，几乎所有现有的方法都需要使用从训练数据中提取的已知的日志事件（即日志消息的模板）和日志序列（即记录特定执行流的一系列日志事件）来构建一个检测模型。为了进行基于日志的异常检测，人们已经做出了巨大的努力。现有的异常检测方法根据机器学习模型可以大致分为两类：经典的基于机器学习的方法和基于深度学习的方法。现有的方法尽管它们在某些情况下是成功的，但没有一种是通用的异常检测方法，能够检测多种异常事件。

因此，在目前复杂的系统环境中，亟需提供一种有效的基于多源日志的安全检测方法。

发明内容

针对当前研究都针对特定攻击场景，对基于多源日志序列的检测研究不足的情况下，本发明提出了一种具有很好的可靠性、检测准确的基于时空图神经网络的系统日志检测方法。

本发明解决其技术问题所采用的技术方案如下：

一种基于自注意力机制的图网络的系统日志检测方法，其包括以下步骤：

S1、从系统的主日志文件中收集日志文本数据和系统硬件数据，建立标准的多序列数据源；

S2、建立自注意力图网络模型，并基于标准多序列数据源建立序列间图关系和序列内时序关系；

S3、分别对日志序列进行序列内特征学习，建立频域时序模型；

S4、结合自注意力图网络模型和频域时序模型，建立自注意力时空模型，从空间和时间两个维度学习多序列日志间的关系；

S5、根据判别标准调试自注意力时空模型，将多序列训练数据作为输入进行模型训练得到最优参数模型；

S6、基于最优参数模型，将处理后的待检测多序列日志作为输出，推理结果，定位异常事件发生区域及异常发生时间，并根据硬件数据分析异常原因。

优选地，S1具体包括以下步骤：

S1.1、收集系统日志文本序列，基于日志解析器提取日志模板序号，得到日志数字序列；

S1.2、收集硬件序列信息，包括系统的Cpu，Ram，Buffer，Disk信息，按照1条/s的频次收集，写入文件，内容包含各指标信息及对应时间；