[发明专利]一种日志处理方法及装置

说明书

本文公开了一种日志处理方法及装置，包括：获取日志；利用缓存中的解析器提取所述日志的公共属性和专有属性，并生成所述日志的归一化数据；将所述归一化数据输出；其中，所述公共属性表示日志之间的共有属性，所述专有属性表示日志独有的属性。本申请能够提高日志解析的精确度和日志解析的效率。

技术领域

本发明涉及数据处理技术领域，尤指一种日志处理方法及装置。

背景技术

目前对于大数据安全分析平台来说对接各种设备，处理千万级以上的事件已经是一种很普遍的现象。为了挖掘威胁事件，处理各种威胁告警，我们需要对事件进行关联分析。在处理事件过程中会发现各种网络设备，硬件设备都有各自的一套日志格式，没办法针对每一种设备提供一套分析引擎，这就需要对日志进行归一化处理。然而，相关技术的日志归一化处理方案，都存在归一化过程中日志解析效率低、日志处理不够精确的问题。

发明内容

本申请提供了一种日志处理方法及装置，至少能够提高日志解析的精确度和日志解析的效率。

本申请提供了如下技术方案。

一种日志处理的方法，包括：

获取日志；

利用缓存中的解析器提取所述日志的公共属性和专有属性，并生成所述日志的归一化数据；

将所述归一化数据输出；

其中，所述公共属性表示日志之间的共有属性，所述专有属性表示日志独有的属性。

其中，利用Flume获取日志。

其中，所述利用缓存中的解析器提取所述日志的公共属性和专有属性，并生成所述日志的归一化数据，包括：

查找缓存中是否存在与当前获取的日志相匹配的解析器；

存在与当前获取的日志相匹配的解析器时，利用所查找到的解析器提取所述日志的公共属性和专有属性，并生成所述日志的归一化数据；

不存在与当前获取的日志相匹配的解析器时，从内存中查找与所述日志相匹配的解析器，将查找到的解析器加载到缓存，利用所述解析器提取所述日志的公共属性和专有属性，并生成所述日志的归一化数据。

其中，根据所述日志的正则表达式和设备类型，通过调用正则解析应用程序编程接口API对所述日志进行匹配处理，以查找所述日志相匹配的解析器；其中，所述日志为设备日志。

其中，所述方法还包括：对预先配置的正则插件进行注册操作，构造所述解析器并加载到内存。

其中，所述方法还包括：配置插件状态，生成内容为正则表达式的插件文件；通过所述插件文件启用所述正则插件。

其中，所述公共属性包括如下之一或多项：日志的级别信息、设备信息、时间信息、IP信息、模块名Module；所述专有属性包括如下之一或多项：设备ID、日志ID、类型、子类型、是否为虚拟设备、用户名、用户访问的URL、请求状态、异常原因、返回响应内容。

一种日志处理装置，包括：

获取模块，用于获取日志；

处理模块，用于利用缓存中的解析器提取所述日志的公共属性和专有属性，并生成所述日志的归一化数据；

输出模块，用于将所述归一化数据输出；

其中，所述公共属性表示日志之间的共有属性，所述专有属性表示日志独有的属性。

其中，所述获取模块，具体用于利用Flume获取日志。