[发明专利]一种日志解析规则自动生成方法和装置

说明书

本发明公开了一种日志解析规则自动生成方法和装置，该方法包括：日志分词步骤，接收新增设备日志，并对所述新增设备日志进行自动分词；语法分析步骤，对分出的词赋予语法定义；正则生成步骤，根据所述语法定义生成解析规则正则表达式；以及字段映射步骤，将所述解析规则正则表达式自动作用到服务端解析引擎。通过本发明，用户可以不用编写任何代码的前提下就可以自动完成设备日志接入，极大地降低了日志解析的难度和复杂度，从而提升对日志进行解析规则开发的效率。

技术领域

本发明涉及安全管理技术领域，具体地，涉及一种日志解析规则自动生成方法和装置。

背景技术

在现有技术中，通过编写代码来接入计算机中新增的设备日志，从而对日志解析难度较大、复杂度较高，从而对日志进行解析规则开发的效率极低。

发明内容

本发明的目的是为了解决对日志解析难度较大、复杂度较高，从而对日志进行解析规则开发的效率极低的技术问题。

为了实现上述目的，本发明采用以下技术方案：

本发明提供了一种日志解析规则自动生成方法，包括：日志分词步骤，接收新增设备日志，并对所述新增设备日志进行自动分词；语法分析步骤，对分出的词赋予语法定义；正则生成步骤，根据所述语法定义生成解析规则正则表达式；以及字段映射步骤，将所述解析规则正则表达式自动作用到服务端解析引擎。

优选地，在所述日志分词步骤中，构建有穷状态自动机，通过所述有穷状态自动机对所述新增设备日志中的逐个字符进行分析，当遇到停止词字典中的停止词时，则退出所述有穷状态自动机并输出词法标记，然后返回所述有穷状态自动机继续分词，直到所述新增设备日志中的全部字符分析完成为止，从而将所述新增设备日志切分成词列表。

优选地，在计算机系统中内置有或通过用户定义有语法分析规则，在所述语法分析步骤中，接收所述词法标记，并将所述语法分析规则与所述词法标记进行匹配，若具有与所述词法标记匹配的语法分析规则，则对切分出的词列表中的每个词赋予与所述词法标记匹配的语法分析规则中的语法定义，若没有与所述词法标记匹配的语法分析规则，则对所述词法标记赋予默认的语法分析规则。

优选地，在所述语法分析步骤中，所述语法定义包括时间戳、IP地址、URL地址、用户代理、整数、浮点数、文件、用户名中的一个或多个。

优选地，在所述语法分析步骤中，将不同的词法标记分别与语法分析规则进行匹配，对于同一个词法标记，将词法标记与多个语法分析规则进行匹配，并选择与词法标记匹配度最大的语法分析规则。

优选地，在所述正则生成步骤中，将所述语法定义的组合转换成解析规则正则表达式，并与未解析成功的日志片段进行拼接。

优选地，在所述字段映射步骤中，所述服务端解析引擎对所述解析规则正则表达式中的字段进行函数操作，以将所述解析规则正则表达式中的字段映射成为所述服务端解析引擎需要的最终字段。

优选地，在所述字段映射步骤中，将所述解析规则正则表达式自动上传到服务器上，并通过可视化界面对用户展示，用户通过所述可视化界面对所述解析规则正则表达式进行二次确认和保存，并重新下发到服务端解析引擎。

优选地，在所述字段映射步骤中，将所述解析规则正则表达式和语法分析规则与词法标记的匹配度自动上传到服务器上，并通过可视化界面对用户展示，用户通过所述可视化界面对所述解析规则正则表达式进行修正，并重新下发到服务端解析引擎。

本发明还提供了一种日志解析规则自动生成装置，用于执行上述日志解析规则自动生成方法，所述日志解析规则自动生成装置包括：日志分词模块，接收新增设备日志，并对所述新增设备日志进行自动分词；语法分析模块，对切分出的词赋予语法定义；正则生成模块，根据所述语法定义生成解析规则正则表达式；以及字段映射模块，将生成的所述解析规则正则表达式自动作用到服务端解析引擎。