[发明专利]异常日志告警方法和装置

说明书

本发明提供一种异常日志告警方法和装置，该方法包括以下步骤：提取日志库中的日志，在确定建立的日志模式集合中不含匹配的日志模式时，将提取的日志加入日志模式集合；对提取的日志进行模式聚类，获得按照日志模式聚类的一个模式或多个模式的日志集合；基于每一模式的日志集合中各日志的共有模式生成每一日志模式对应的日志公共模式，并基于各个日志模式对应的公共模式生成日志公共模式集合；接收新日志；根据新日志是否与日志公共模式集合中的日志公共模式相匹配确定新日志是否为异常日志；若确定为异常日志，生成告警信息。本发明能够高效地实现实时异常日志告警，而无需认为参与告警规则制定，节省人力，并可以避免可能出现的错误规则。

技术领域

本发明涉及计算机技术领域，特别涉及一种异常日志告警方法和装置。

背景技术

一般的异常日志告警都是采用开发人员人工定义日志语法，根据人工定义的日志语法来标记哪些属于异常日志，并当出现异常日志时进行告警。这种方法需要开发人员花费大量精力去定义日志类型，并且需要人工定义出当出现告警时对应的问题，增加了开发人员的工作量，而如果程序员漏掉了定义一些日志语法，则系统往往无法准确获知日志异常信息。

因此，如何在无监督的情况下实现异常日志的告警，是一个亟待解决的问题。

发明内容

鉴于现有技术中存在的问题，本发明实施例提供了一种异常日志告警方法和装置，以高效地实现实时异常日志告警，而无需认为参与告警规则制定，节省人力，并可以避免可能出现的错误规则。

本发明的技术方案如下：

一种异常日志告警方法，所述方法包括以下步骤：

日志公共模式集合生成步骤：针对日志库中的多个正常日志，确定各个正常日志所属的日志模式，并基于各个日志模式的正常日志生成日志公共模式集合；该日志公共模式集合生成步骤包括：

提取日志库中的正常日志，确定建立的日志模式集合中是否含有提取的日志所匹配的日志模式，以在确定日志模式集合中不含有与提取的日志匹配的日志模式的情况下，将提取的日志加入日志模式集合；

基于日志模式对提取的正常日志进行聚类，获得按照日志模式聚类的一个或多个日志模式的日志集合；以及

基于每一日志模式的日志集合中各日志的共有模式生成每一日志模式对应的日志公共模式，并基于各个日志模式对应的公共模式生成日志公共模式集合；

接收新日志；

确定接收的新日志是否与所述日志公共模式集合中的日志公共模式相匹配，基于匹配结果确定接收的新日志是否为异常日志；

在确定接收的新日志为异常日志的情况下，生成告警信息。

在本发明一实施例中，所述确定建立的日志模式集合中是否含有提取的日志所匹配的日志模式，在确定日志模式集合中不含有提取的日志所匹配的日志模式的情况下，将提取的日志加入日志模式集合，包括：确定日志模式集合是否为空，在确定日志模式集合为空的情况下，将提取的日志加入日志模式集合；在确定日志模式集合不为空的情况下，根据提取的日志与日志模式集合中的日志的距离与预定距离阈值的比较来确定日志模式集合中是否含有提取的日志所匹配的日志模式，并在确定不含有提取的日志所匹配的日志模式的情况下，将提取的日志加入日志模式集合。

在本发明一实施例中，所述根据提取的日志与日志模式集合中的日志的距离与预定距离阈值的比较来确定日志模式集合中是否含有提取的日志所匹配的日志模式，包括：按照预定顺序从日志模式集合中逐个选择日志，基于单词个数确定提取的日志和当前选择的日志的长度；确定提取的日志和当前选择的日志中相同的单词个数；基于提取的日志和当前选择的日志中相同的单词个数和这两个日志的长度中较大的长度的比值来计算两个日志之间的距离；以及基于计算出的距离与预定距离阈值的比较来确定日志模式集合中是否含有提取的日志所匹配的日志模式。