[发明专利]一种日志分析处理方法及装置

说明书

本发明提供一种日志分析处理方法及装置，方法包括：获取来自多种中间组件的日志信息；对所述日志信息进行语义分析，得到至少一种日志类型的日志信息；对所述至少一种日志类型的日志信息中的错误日志类型的日志信息进行分析处理，得到至少一种异常类型；将所述日志信息的日志类型和所述异常类型中的至少一项输出。本发明的方案可以实现异常日志的准确检测，为系统运维人员进行故障定位提供有力支持。

技术领域

本发明涉及日志处理技术领域，特别是指一种日志分析处理方法及装置。

背景技术

日志是一种半结构化的文本数据，网络设备、系统及服务程序等在运行时都会产生日志，用来记录日期、时间、使用者及动作、系统状态等相关信息的描述。这使得系统开发人员与运维人员能够通过日志来监控系统运行状态，并在系统故障时迅速定位故障。

现今，随着系统与服务规模越来越庞大，结构越来越复杂，不同系统与服务中通常包含多个不同的中间组件，而不同组件的日志格式不同，因此同一个系统或服务中通常会产生大规模不同格式的日志数据。

在大规模的日志数据中，正常日志占比极大且重复性高，异常日志数据量较小，但是占比较小的异常日志中往往包含巨大的信息量，对于系统维护至关重要。因此，异常日志的检测成为亟待解决的问题。

发明内容

本发明要解决的技术问题是如何提供一种日志分析处理方法及装置。解决现有技术中错误日志无法准确检测的问题。

为解决上述技术问题，本发明的技术方案如下：

一种日志分析处理方法，包括：

获取来自多种中间组件的日志信息；

对所述日志信息进行语义分析，得到至少一种日志类型的日志信息；

对所述至少一种日志类型的日志信息中的错误日志类型的日志信息进行分析处理，得到至少一种异常类型；

将所述日志信息的日志类型和所述异常类型中的至少一项输出，所述异常类型包括：文件/文件夹操作异常。

可选的，日志分析处理方法，还包括：

对所述多种中间组件的日志信息，构建不同的正则表达式，分别作为不同组件的日志模式；

对所述日志模式通过模式匹配的方式，检测所述日志信息的来源，得到日志的来源信息；

将所述日志的来源信息输出。

可选的，对所述日志信息进行语义分析，得到至少一种日志类型的日志信息，包括：

对所述日志信息进行语义分析，得到日志描述信息；

根据所述日志描述信息，对所述日志信息进行向量化，得到日志向量；

将所述日志向量输入训练好的日志分类模型进行处理，得到至少一种日志类型的日志信息，所述日志类型包括：正常日志类型和错误日志类型。

可选的，所述日志分类模型通过以下过程进行训练：

获取日志信息数据训练集；

对所述日志信息数据训练集进行语义分析，得到用于训练的日志信息的日志描述信息；

根据所述用于训练的日志信息的日志描述信息，对所述日志信息数据训练集中的日志信息进行标注，得到包括正常日志信息的第一训练集以及包括错误日志信息的第二训练集；

对所述第一训练集以及第二训练集中的日志信息进行向量化处理，得到输入第一预设分类模型的第一日志向量；

将所述第一日志向量输入所述第一预设分类模型进行训练，得到训练好的所述日志分类模型。