[发明专利]一种日志解析规则自动生成方法和装置

权利要求书

1.一种日志解析规则自动生成方法，包括：

日志分词步骤，接收新增设备日志，并对所述新增设备日志进行自动分词；

语法分析步骤，对分出的词赋予语法定义；

正则生成步骤，根据所述语法定义生成解析规则正则表达式；以及

字段映射步骤，将所述解析规则正则表达式自动作用到服务端解析引擎，

其中，在所述日志分词步骤中，构建有穷状态自动机，通过所述有穷状态自动机对所述新增设备日志中的逐个字符进行分析，当遇到停止词字典中的停止词时，则退出所述有穷状态自动机并输出词法标记，然后返回所述有穷状态自动机继续分词，直到所述新增设备日志中的全部字符分析完成为止，从而将所述新增设备日志切分成词列表。

2.根据权利要求1所述的日志解析规则自动生成方法，在计算机系统中内置有或通过用户定义有语法分析规则，在所述语法分析步骤中，接收所述词法标记，并将所述语法分析规则与所述词法标记进行匹配，

若具有与所述词法标记匹配的语法分析规则，则对切分出的词列表中的每个词赋予与所述词法标记匹配的语法分析规则中的语法定义，

若没有与所述词法标记匹配的语法分析规则，则对所述词法标记赋予默认的语法分析规则。

3.根据权利要求2所述的日志解析规则自动生成方法，在所述语法分析步骤中，所述语法定义包括时间戳、IP地址、URL地址、用户代理、整数、浮点数、文件、用户名中的一个或多个。

4.根据权利要求2所述的日志解析规则自动生成方法，在所述语法分析步骤中，多线程地将不同的词法标记分别与语法分析规则进行匹配，对于同一个词法标记，将词法标记与多个语法分析规则进行匹配，并选择与词法标记匹配度最大的语法分析规则。

5.根据权利要求2所述的日志解析规则自动生成方法，在所述正则生成步骤中，将所述语法定义的组合转换成解析规则正则表达式，并与未解析成功的日志片段进行拼接。

6.根据权利要求5所述的日志解析规则自动生成方法，在所述字段映射步骤中，所述服务端解析引擎对所述解析规则正则表达式中的字段进行函数操作，以将所述解析规则正则表达式中的字段映射成为所述服务端解析引擎需要的最终字段。

7.根据权利要求6所述的日志解析规则自动生成方法，在所述字段映射步骤中，将所述解析规则正则表达式自动上传到服务器上，并通过可视化界面对用户展示，用户通过所述可视化界面对所述解析规则正则表达式进行二次确认和保存，并重新下发到服务端解析引擎。

8.根据权利要求7所述的日志解析规则自动生成方法，在所述字段映射步骤中，将所述解析规则正则表达式和语法分析规则与词法标记的匹配度自动上传到服务器上，并通过可视化界面对用户展示，用户通过所述可视化界面对所述解析规则正则表达式进行修正，并重新下发到服务端解析引擎。

9.一种日志解析规则自动生成装置，用于执行权利要求1-8任一项所述的日志解析规则自动生成方法，所述日志解析规则自动生成装置包括：

日志分词模块，接收新增设备日志，并对所述新增设备日志进行自动分词；

语法分析模块，对切分出的词赋予语法定义；

正则生成模块，根据所述语法定义生成解析规则正则表达式；以及

字段映射模块，将生成的所述解析规则正则表达式自动作用到服务端解析引擎。