[发明专利]基于LSTM-Transformer的日志异常检测方法及系统

说明书

本发明提供了一种日志异常检测方法及系统，应用于系统的日志异常检测领域。该系统使用Drain、Word2Vec、TF‑IDF算法以及LSTM和Transformer模型。所述系统包括：首先使用Drain对日志进行解析；然后使用Word2Vec生成词向量，并使用TF‑IDF生成加权日志序列特征向量和组件值特征向量；最后，使用一个添加了LSTM的Transformer作为最终的分类模型。本发明不仅能捕获日志中的语义信息和顺序关系，而且还能考虑组件值的信息，进而能够发现多种类型的系统异常，减少系统崩溃次数。本发明以较低的计算成本来解决日志异常检测的不稳定性问题，提高异常检测的准确性和效率，提高应对异常的能力，保证系统运行的安全。

技术领域

本发明涉及计算机技术领域，更具体说是涉及一种基于LSTM-Transformer的日志异常检测方法及系统。

背景技术

对于大规模的软件系统，特别是那些部署在云服务器上的软件系统，增强系统的健康状况和稳定性至关重要。外部故障(例如，恶意攻击、节点断开)和内部软件错误(例如，无限循环、不正确的配置)都可能传递到意外的系统中止。所有这些故障都被视为异常现象。云服务器的大规模停止可能会导致下游服务的失败，客户流失，甚至造成巨大的经济损失。日志数据是一种广泛可用的数据资源，它在各种软件系统的运行时记录系统状态和关键事件。开发人员通常利用日志数据来获取系统状态，检测异常情况，并定位根本原因。隐藏的丰富信息为分析系统问题提供了一个很好的视角。因此，通过在大量的日志数据中挖掘日志信息，日志异常检测的方法可以帮助增强系统的运行状况、稳定性和可用性。随着现代计算机系统的规模和复杂性的增加，日志数据呈爆炸式产生。处理如此大量的日志数据是一个关键的挑战。我们迫切需要一个高效的日志处理和检测异常的工具，而不是容易出错和耗时的手工工作。

对日志进行异常检测工作前需要对日志进行日志解析和特征提取等工作。日志解析已取得了很好的成绩。在本发明中，着重讨论特征提取和异常检测的细节。

现有的检测日志异常的特征提取方法大致可以分为两类:基于日志事件计数的方法和基于日志事件语义信息的方法。基于日志事件计数的方法(如PCA、不变挖掘、SVM、DeepLog)首先将日志事件从日志消息中提取出来，然后转换为消息计数特征空间。这些方法不仅忽略了日志事件发生的顺序而且忽略了日志消息中的语义信息。基于日志事件语义信息的方法(如LogAnomaly、LogRobust)将日志流建模为自然语言序列。这些方法使用词嵌入将日志事件转换成向量，然后基于这些向量训练他们的模型。然而，现有的基于词向量加权聚合的方法都不会关注词序关系，不能保证日志有唯一的表示方式。而且现有的方法仅仅局限于日志事件的语义，可能会错过日志中其他用于异常检测的关键值。为了解决这些问题，进一步改进序列异常检测技术，本发明提出了一种新的日志表示方法。这种日志表示不仅能捕获日志中的语义信息和利用日志顺序关系，而且还考虑到日志的组件值。

深度学习方法在近年迎来了研究与应用的热潮，在各个领域都取得了较好的成绩。同时也为日志异常检测提供了新的方法。基于长短时记忆网络(LSTM)的深度学习模型DeepLog、LogAnomaly、LogRobust。基于Transformer的深度学习模型HitAnomaly。最近的研究表明，在某些任务中LSTM性能优于Transformer，但同时某些任务中Transformer又会取代循环神经网络模型，如LSTM。LSTM和Transformer的性能都可以通过考虑日志的语义信息而得到改善，因此本发明考虑将LSTM和Transformer同时在一个网络中相互嵌套，来实现更高的精度。本发明以较低的计算成本来解决日志异常检测的不稳定性问题，提高异常检测的准确性和效率。

发明内容

本发明目的是提供一种日志异常检测的方法及系统，用于解决根据原始日志数据发现多类型异常，以便及时采取有效的措施进行规避风险，减少系统崩溃次数，保证系统运行安全，用于解决提高日志异常检测的准确性和效率的问题。