[发明专利]日志模板提取方法及装置

说明书

本申请公开了一种日志模板提取方法及装置，属于计算机技术领域。所述方法包括：将日志的多行日志记录中每行日志记录中的指定字符删除，得到预处理后的每行日志记录；基于预处理后的每行日志记录，确定至少一个第一日志记录组，不同所述第一日志记录组包括所述日志中的不同行日志记录；分别提取所述至少一个第一日志记录组中每个所述第一日志记录组中的日志模板，并基于提取的日志模板确定所述日志的日志模板。本申请解决了目前确定的日志模板的准确性较低的问题，本申请应用于日志的日志模板提取。

技术领域

本申请涉及计算机技术领域，特别涉及一种日志模板提取方法及装置。

背景技术

通过在软件源代码中填加的一些特定的代码，可以将软件运行的实时状态记录以文本形式记录在文件中，该文件称为日志(logs)或日志文件。软件开发者(或运维工作人员)可以通过阅读日志，掌握软件运行的实时情况。

一个日志包括多行日志记录(也称日志语句)，每一行日志记录用于记录软件运行时的一个事件，日志中的日志记录通常具有隐含的日志模板(schema)，即该记录本身的模式或格式。基于日志的日志模板的不同，日志可以分为同质化日志(Homologous logs)和异质化日志(Heterogeneous logs)两类。同质化日志是指，日志中所有行日志记录的日志模板相同；异质化日志是指，日志中的各行日志记录没有统一的日志模板。通过识别日志的日志模板可以帮助用户快速掌握系统运行全貌。

目前，对于异质化日志，提取其日志模板的方法如下：将该行日志记录进行分词(tokenization)，得到多个词条(token)；基于每行日志记录的分词结果，计算每个日志记录之间的相似度，基于相似度对日志中的日志记录进行层次聚类(HierarchicalClustering)，得到多类日志记录；对每类日志记录进行模板提取，将得到的多类日志记录的日志模板作为异质化日志的日志模板。

但是，由于日志中记录的内容较多，容易影响最终确定的日志模板的准确性。

发明内容

本申请实施例提供了一种日志模板提取方法及装置，能够解决目前的日志模板提取方法的运算代价较大的问题。所述技术方案如下：

第一方面，提供一种日志模板提取方法，所述方法包括：

将日志的多行日志记录中每行日志记录中的指定字符删除，得到预处理后的每行日志记录；基于预处理后的每行日志记录，确定至少一个第一日志记录组，不同所述第一日志记录组包括所述日志中的不同行日志记录；分别提取所述至少一个第一日志记录组中每个所述第一日志记录组中的日志模板，并基于提取的日志模板确定所述日志的日志模板。

本申请实施例中，通过将日志的多行日志记录中每行日志记录中的指定字符删除，可以有效减少计算复杂度，并且避免了指定字符对日志模板提取过程的干扰，从而提高提取日志模板的进度。

可选地，所述将日志的多行日志记录中每行日志记录中的指定字符删除，得到预处理后的每行日志记录，包括：

在一种可选示例中，获取所述日志中每行日志记录的至少一个词条，将所述每行日志记录的每个词条中的所述指定字符删除，得到所述预处理后的每行日志记录；

在另一种可选示例中，将所述多行日志记录中每行日志记录中的指定字符删除，得到简化后的每行日志记录，获取所述多行日志的简化后的每行日志记录的至少一个词条，得到所述预处理后的每行日志记录。

不同的第一简化哈希码的个数通常小于不同的第一哈希码的个数，分组得到的第一日志记录组的个数相应减少，因此，采用前述另一种可选示例，可以减少哈希桶个数，避免哈希桶分布过于分散。

可选地，所述指定字符为数字和/或标点符号。由于日志记录中的变量符号，如时间戳和IP地址，包括大量数字和标点符号，当指定字符为数字和/或标点符号时，可以有效减少这些变量符号对日志模板提取的干扰，提高日志模板提取精度。