[发明专利]一种高召回率的日志异常检测方法

说明书

本发明涉及一种高召回率的日志异常检测方法，遍历每一个已知日志模式，对每一个已知日志模式做相同的判断，提取日志模式数量序列，在提取的统一的日志模式数量序列下，基于单条日志异常、日志序列异常和不变量异常三者之间的关系，同时检测单条日志异常、日志序列异常和不变量异常。与现有技术相比，本发明具有大幅度提升日志召回率和准确率，提高检测结果可解释性等优点。

技术领域

本发明涉及日志异常检测技术领域，尤其是涉及一种高召回率的日志异常检测方法。

背景技术

随着软件系统向大规模，复杂的分布式系统发展，这些系统经常遭受错误和漏洞的困扰。当发生系统故障(例如服务故障和服务中断)时，多个服务可能会受到故障的影响，这可能会导致系统的重大损失。系统异常检测技术旨在定位这些系统故障。这种技术在系统维护中起着至关重要的作用。对于工程师来说，及时准确地发现异常是必要的，以便及时查明原因。系统中有许多类型的数据可用于异常检测和故障排除。在大多数大型系统中普遍可用的日志数据具有大量信息，并且包含关键系统状态，事件和运行时消息的记录。

目前业界把日志异常分为以下三种类型：

i.单条日志就能反映的异常，如“shut down”日志；

ii.不变量异常，又称为数量关系异常，如一段时间内的connect相关的日志数量与end connect相关的日志数量不相等；

iii.序列异常，又称为任务流异常，即多条日志序列反映出来的异常，例如程序中某个任务的某个部分发生了异常，导致这个部分不能正常执行，其它部分正常执行，表现在日志中就是在这个任务流日志数据中少了某些日志。

现有的日志异常检测方法一般分为三个部分：

a.日志解析：算法较多，各有优劣，目的都是将非结构化的日志数据转换为结构化的数据。单条日志可以粗略的分为三个部分，打印时间、其它信息(层级(INFO，WARNING等)等)、日志内容。日志解析算法的难点在于如何确定日志内容中的固定部分和变量部分，业界用的较多的是通过大量的历史日志数据，通过聚类算法来自动提取日志模式。几千万行日志对应的日志模式数量可能在几十到几百不等。

b.特征提取：日志解析之后就可以将原始日志数据(日志序列，单个元素是一条日志字符串)转换为日志模式下标序列。一般是将从历史数据中解析出来的全部日志模式保存为一个有序的列表，称为总日志模式序列，然后依次将日志序列中的日志映射为其日志模式在日志模式序列中的下标，这样就得到了日志模式下标序列。部分算法可能还需要做进一步的特征提取。

c.日志分析：日志分析就是设计一种算法利用特征提取后的数据来分析日志的异常情况。现在业界出名的日志分析算法有Deeplog等。Deeplog等算法重点关注的都是日志异常中的序列异常，采用的方法也比较类似，即训练一个神经网络模型，以一定窗长的日志序列数据为输入，预测输入日志序列的下一个日志是什么(模型实际输入为对应的日志模式下标序列，输出为各个日志模式的出现概率组成的一维列表)。检测逻辑是，如果真实的下一个日志对应的日志模式不在模型预测的Top k个中即视为发生了异常。

然而现有的日志异常检测方法存在以下不足：

1、准确性和召回率低：大多数公司或者机构的系统都是并发的，且各个模块的处理速度和是否会一起执行是不稳定的，导致打印的日志序列的顺序并不能很好的反映系统的任务流。因此尽管采用了top k的方式来提高模型的泛化性能，通过一定长度的日志序列预测下一个日志的方式来分析日志异常的模型的准确性和召回率在实际运用中的准确性、召回率都不尽人意。

2、可解释性低：现有的很多日志分析算法，如DeepLog等类似一个黑盒，虽然可以判定异常，但是无法很好的给出异常的解释，而异常解释是在实际运维场景中十分关注的重点。

3、无法增量学习：当系统更新之后，若要保证模型的准确性，需要重新训练模型，无法自动实时迭代，这将会消耗大量时间。